利索能及
我要发布
收藏
专利号: 2020108537392
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于稳定轨迹人脸跟踪的非接触式人体心率测量方法,其特征在于,所述方法包括以下步骤:步骤1,基于阈值方法,通过阈值判断两帧之间地标的区别,若近似则沿用地标以解决抖动问题;

步骤2,针对人脸晃动,结合左右眼地标中点计算角度旋转矫正晃动的人脸,以便提取相同皮肤区域;

步骤3,利用POS算法从皮肤颜色信号中提取出脉搏信号;

步骤4,利用FFT变换,从脉搏信号中估计出心率;

所述步骤1中,解决抖动问题的关键是地标稳定,令 表示(x,y),x和y分别是像素点在图像中的列序和行序,令 表示图像中预测的地标点,令表示图像中KLT跟踪框的四个角坐标,第一帧后,Dlib模型输

入的人脸框从box裁剪,使人脸框每条边经过box相邻两个角坐标的中点;

假设上一帧的地标为S1,KLT的跟踪框四个角坐标为box1,当前帧为S2和box2,将欧式距离和标准差作为阈值,参数计算如下:其中,l为连续两帧相同序号地标间的欧式距离,mean为所有地标的平均欧式距离,std为通过l和mean计算的标准差,lk为KLT跟踪框对应角坐标的欧式距离,meanklt为两帧间KLT跟踪框四个角坐标的平均欧式距离;

当人脸处于静止或者正常平移,连续两帧间的地标轮廓基本一致,因此std都偏小,而静止时的mean小于移动时的mean;当人脸表情变化或者地标在模型训练不佳的场景出现跳变,连续两帧间的地标轮廓变化较大,std会偏大,而地标跳变的meanklt小于面部姿态变化的meanklt;在人脸静止和地标跳变时沿用地标,在正常平移和表情变化时更新地标。

2.如权利要求1所述的基于稳定轨迹人脸跟踪的非接触式人体心率测量方法,其特征在于:所述步骤2中,跟踪的感兴趣区域设为眼睛下方到嘴巴上方的矩形区域,因该区域毛细血管丰富,信号明显,且有效避免了说话和眨眼带来的影响,通过5、13、29、53号地标点确定ROI,当视频中的人脸因晃动而弯头时,由上述地标点确定的ROI会混入其它的皮肤区域,为了获取相同皮肤区域,采取旋转矫正处;基于人脸地标确定的眼睛中点坐标旋转矫正算法,能够在很大程度上保证各种晃动角度的人脸都能矫正水平,确保ROI的一致性,首先,计left right算左右眼六个地标的中点eye =[xl,yl],eye =[xr,yr],通过两者计算得出旋转角度,旋转图像摆正人脸,接着将地标映射到旋转图像,再获取ROI,提取其中的颜色信号;

其中x和y分别为眼睛中心点在图像中的列序与行序,θ为旋转角度,值为负数则顺时针旋转图像,值为正则逆时针旋转图像;

每个地标点(x,y)的映射操作如下:先减去图像的宽高的一半,计算每个地标点相对图像中心的坐标,再进行旋转映射,旋转采用matlab的loose参数,会缩放原图,旋转映射后先乘以缩放比例,再添加旋转后图像的宽高的一半,得到在旋转图像中对应的地标点;

其中(x′,y′)为地标点在旋转图像中的映射点,(w,h)为原图像的宽和高,(w′,h′)为旋转图像的宽高,α是缩放比例,为原图对角线与旋转图像中的原图对角线比值,最终结果如下:当θ值为负,

当θ值为正,

旋转矫正后提取皮肤颜色信号,令第t帧的颜色信号为 表示当前

ROI中RGB三通道所有像素的均值,令视频总的皮肤颜色信号为 L

表示视频的总帧数。

3.如权利要求1所述的基于稳定轨迹人脸跟踪的非接触式人体心率测量方法,其特征在于:所述步骤3中,由步骤1和步骤2中得到的皮肤颜色信号,需要经过POS算法从中提取出脉搏信号,再通过脉搏信号来计算心率,过程如下:首先对颜色信号C进行归一化处理,将每帧的RGB值除以全部帧的对应均值;

其中Cn为归一化的皮肤颜色信号,μ(C)为C的行均值,再将其投影到两个正交投影方向,投影方向表示为P:通过P将归一化的信号Cn投影,得到投影向量:

最后加上标准差项处理,得到脉搏信号pulse:

其中SG为Cn在正交投影方向上的两条投影,为运动干扰信号和脉搏信号,σ(SG1),σ(SG2),分别为SG1,SG2的标准差。

4.如权利要求1所述的基于稳定轨迹人脸跟踪的非接触式人体心率测量方法,其特征在于:所述步骤4中,对于提取出来的脉搏信号,应用FFT算法来计算心率,每隔1秒以10秒的窗口长度更新一次心率,利用快速傅里叶变换FFT转换信号的频谱,将设定区域内具有最大功率的频率指定为心率,乘以60将单位从赫兹转换为每分钟心跳数,以获得最终的心率输出。