利索能及
我要发布
收藏
专利号: 2023112812894
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双光谱面部视频的非接触式呼吸率监测方法,其特征在于,所述方法包括:同时获取包含被测用户面部的热红外视频和可见光视频;

基于核相关滤波算法对所述热红外视频中被测用户的鼻子感兴趣区域进行追踪定位,提取所述热红外视频中鼻子感兴趣区域的图像,作为第一热红外图像;并将所述热红外视频中未追踪定位到鼻子感兴趣区域的热红外图像帧,作为第一热红外图像帧;

提取所述第一热红外图像对应的呼吸信号,作为第一呼吸信号;并在所述可见光视频中选取与所述第一热红外图像帧时间戳相同的可见光图像帧,作为第一可见光图像帧;

利用仿射变换的方法将所述第一可见光图像帧中被测用户的鼻子感兴趣区域映射至所述第一热红外图像帧中,并在所述第一热红外图像帧中提取映射区域的图像,作为第二热红外图像;其中,基于人脸检测算法和面部特征点,获取所述第一可见光图像中被测用户的鼻子感兴趣区域;

提取所述第二热红外图像对应的呼吸信号,作为第二呼吸信号;

将所述第一呼吸信号和所述第二呼吸信号进行信号融合,将信号融合后的信号作为第三呼吸信号;

基于预设的信号处理方式,对所述第三呼吸信号进行信号处理,得到呼吸信号曲线;其中,所述预设的信号处理方式包括:去趋势处理、归一化处理和高斯拟合处理;

基于所述呼吸信号曲线,获取所述被测用户的呼吸频率。

2.根据权利要求1所述的方法,其特征在于,利用仿射变换的方法将所述第一可见光图像帧中被测用户的鼻子感兴趣区域映射至所述第一热红外图像帧中,并在所述第一热红外图像帧中提取映射区域的图像,作为第二热红外图像,包括:在可见光视频中选取与第二热红外图像帧时间戳相同的可见光图像帧,作为第二可见光图像帧,并将时间戳相同的第二热红外图像帧和第二可见光图像作为预设图像对;其中,所述第二热红外图像帧表示在所述热红外视频中包含第一热红外图像的图像帧;

基于mediapipe工具,获取所述预设图像对中第二可见光图像帧鼻子感兴趣区域的左上角点A(x1,y1)和右下角点B(x2,y2)的坐标;并基于核相关滤波算法获取所述第二热红外图像帧中鼻子感兴趣区域的左上角点A′(u1,v1)和右下角点B′(u2,v2)的坐标;

基于所述图像对中左上角点A、A′和右下角点B、B′的坐标,确定相同坐标的仿射变换矩阵;

基于所述仿射变换矩阵,对第一可见光图像帧中左上角点A和右下角点B的坐标进行仿射变换处理,得到第一热红外图像帧中左上角点A′和右下角点B′的坐标;

基于所述第一热红外图像帧中左上角点A′和右下角点B′的坐标,提取所述第一热红外图像帧中鼻子感兴趣区域的图像,作为第二热红外图像。

3.根据权利要求1所述的方法,其特征在于,提取第一热红外图像对应的呼吸信号,作为第一呼吸信号,包括:将所述第一热红外图像转化为灰度图像,作为第一灰度图像;

计算所述第一灰度图像的像素平均值,作为第一呼吸信号。

4.根据权利要求1所述的方法,其特征在于,所述基于预设的信号处理方式,对所述第三呼吸信号进行信号处理,得到呼吸信号曲线,包括:对所述第三呼吸信号进行去趋势处理,将去趋势处理后的第三呼吸信号,作为第四呼吸信号;

对所述第四呼吸信号进行归一化处理,将归一化处理后的第四呼吸信号,作为第五呼吸信号;

将所述第五呼吸信号对应的实验数据的数据形式设置为 并对所述实验数据进行拟合处理,得到拟合后的高斯函数,作为呼吸信号曲线;其中,Ti表示呼吸曲线中的横坐标时间; 表示呼吸曲线中的纵坐标呼吸值;

a、c和b分别表示为待求解参数,代表的物理意义分别为高斯曲线的峰高、峰位置和半宽度信息;b0、b1和b2分别表示在对待求解参数a、c和b求解过程中的中间参数。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

当所述热红外视频的图像帧发生连续缺失且缺失的图像帧无法通过仿射变换得到时,若所述缺失的图像帧的数量低于第一预设数值时,则对所述呼吸信号曲线进行高斯拟合处理;

若所述缺失的图像帧的数量不低于第一预设数值时,则对所述呼吸信号曲线进行平移处理,以补足所述呼吸信号中缺失的呼吸信号。

6.根据权利要求5所述的方法,其特征在于,所述对所述呼吸信号曲线进行平移处理,包括:获取连续缺失图像帧的帧总数,以及所述连续缺失图像帧中首次缺失的帧位置或末位缺失的帧位置;

基于帧总数确定连续缺失的呼吸信号的时间长度,作为第一时间长度;并基于首次缺失的帧位置确定连续缺失的呼吸信号的起始时间点或基于末位缺失的帧位置确定连续缺失的呼吸信号的终止时间点;

获取在所述起始时间点之前且时间长度为第一时间长度的连续呼吸曲线,作为第一曲线;或获取在所述起始时间点之后且时间长度为第一时间长度的连续呼吸曲线,作为第二曲线;

将所述第一曲线根据时间顺序向后平移第一时间长度对应的长度,或将所述第二曲线根据时间顺序向前平移第一时间长度对应的长度,以补足所述呼吸信号中缺失的呼吸信号。

7.根据权利要求1所述的方法,其特征在于,所述基于所述呼吸信号曲线,获取被测用户的呼吸频率,包括:获取所述呼吸信号曲线的波峰数量PN;其中,第一个峰值和最后一个峰值分别标记为FP和LP,两个相邻峰之间的平均距离为ADP;

基于预设的公式计算所述被测用户的呼吸频率;其中,所述预设的公式为:其中,PN表示在一分钟内获取到的热红外视频的总帧数;RR表示所述被测用户的呼吸频率。

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

在连续的两次呼吸率监测之间设置时间间隔。

9.一种基于双光谱面部视频的非接触式呼吸率监测系统,其特征在于,所述系统包括:第一获取模块,用于同时获取包含被测用户面部的热红外视频和可见光视频;

追踪定位模块,用于基于核相关滤波算法对所述热红外视频中被测用户的鼻子感兴趣区域进行追踪定位,提取所述热红外视频中鼻子感兴趣区域的图像,作为第一热红外图像;

并将所述热红外视频中未追踪定位到鼻子感兴趣区域的热红外图像帧,作为第一热红外图像帧;

第一提取模块,用于提取所述第一热红外图像对应的呼吸信号,作为第一呼吸信号;并在所述可见光视频中选取与所述第一热红外图像帧时间戳相同的可见光图像帧,作为第一可见光图像帧;

仿射变换模块,用于利用仿射变换的方法将所述第一可见光图像帧被测用户的鼻子感兴趣区域映射至所述第一热红外图像帧中,并在所述第一热红外图像帧中提取映射区域的图像,作为第二热红外图像;其中,基于人脸检测算法和面部特征点,获取所述第一可见光图像中被测用户的鼻子感兴趣区域;

第二提取模块,用于提取所述第二热红外图像对应的呼吸信号,作为第二呼吸信号;

信号融合模块,用于将所述第一呼吸信号和所述第二呼吸信号进行信号融合,将信号融合后的信号作为第三呼吸信号;

信号处理模块,用于基于预设的信号处理方式,对所述第三呼吸信号进行信号处理,得到呼吸信号曲线;其中,所述预设的信号处理方式包括:去趋势处理、归一化处理和高斯拟合处理;

第二获取模块,用于基于所述呼吸信号曲线,获取所述被测用户的呼吸频率。