1.一种基于时空特征增强的无监督对比远程生理测量方法,其特征在于,包括如下步骤:步骤1、获取若干目标人员的人脸视频并进行预处理,得到预处理后的人脸视频序列;
步骤2、建立低光和时空特征增强模型ST‑Phys,模型包括:低光增强模块、时间扩张模块和空间注意力模块;将预处理后的人脸视频序列输入低光和时空特征增强模型ST‑Phys,输出时空注意力特征;
步骤3、在时间维度上对时空注意力特征进行采样,得到远程光电容积脉搏波rPPG信号样本,对远程光电容积脉搏波rPPG信号样本进行带通滤波后,通过傅里叶变化计算滤波后信号的最大频率,从而计算目标人员的心率;
步骤4、采用圆边损失作为损失函数,并采用优化器对损失函数进行最小化求解,从而优化低光和时空特征增强模型ST‑Phys的参数,得到优化后时空特征增强模型,并应用优化后时空特征增强模型对人脸视频中远程光电容积脉搏波rPPG信号进行提取;
步骤4具体为:采用圆边损失作为损失函数,并采用ADAMW优化器对损失函数L进行最小化求解,从而对时空特征增强模型中的所有参数进行优化;
式中,d为两个样本之间的欧几里得距离,m为相似样本与不相似样本之间的距离,γ表示相似和不相似样本之间的差异程度;
式中, fi为第i个 rPPG样本的PSD,N为PSD样品总数, 表示第i个PSD与第j个PSD之间的欧氏距离,对应于Lc中的变量d;
其中 表示第i个PSD和另一个视频的第j个PSD之间计算的欧氏距离;
结构相似指数损失Ls的计算公式如下:
其中 和 是x和y图像的亮度平均值, 和 是x和y图像亮度的标准差, 表示x和y图像之间的亮度协方差,c1和c2是用来稳定计算的常数;
总的损失函数为上述损失之和: ;其中, 为步骤2.1中的结构相似指数
损失;
训练得到最优时空特征增强模型,以最优时空特征增强模型实现对人脸视频中rPPG信号的提取。
2.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法,其特征在于,步骤1具体为:使用OpenFace生成面部地标,首先得到地标的最小和最大水平和垂直坐标来定位每一帧的中心面部点,边界框的大小为第一帧开始的地标垂直坐标范围的
1.2倍,并在随后的帧中固定,在得到每一帧的中心人脸点和边界框的大小后,从每一帧裁
1 2
剪人脸;裁剪的人脸被调整为128×128,从而得到一段帧数为T的视频序列X={X ,X i T B×C×T×H×W i,...,X ,...,X }∈R ,其中,X 表示第i帧人脸图像,B,C,H和W分别表示一次迭代中使用的训练样例的数量,每帧的通道数,高度和宽度。
3.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法,其特征在于,步骤2具体为:所述低光增强模块包括卷积层和LeakyReLU激活函数;所述时间扩张模块依次包括卷积块、膨胀块、下采样块和上采样块;所述空间注意力模块依次包括自适应平均池化层、卷积层和空间注意力机制层;具体包括如下步骤:步骤2.1、将视频序列X输入低光增强模块,得到低光增强后的图像序列X’={X1 ,X2 B×C×T×H×W,...,Xi ,...,XN }∈R ,X和X’之间使用了结构相似指数损失Ls来衡量图像的相似度,通过最小化Ls生成更亮更清晰的图像;
步骤2.2、将低光增强后的图像序列X’输入时间扩张模块中,依次经过卷积块、膨胀块、B×C’×T×H’×W’
2个下采样块、膨胀块和2个上采样块得到时间膨胀特征Z∈R ,其中,C'=64,H'=H/16和W'=W/16;使用3×3×3核和2×1×1的扩展速率的膨胀卷积,使得沿时间维度的2像素扩展,增加接受域,而高度和宽度保持不变;
步骤2.3、将时间膨胀特征Z输入空间注意力模块中,使用自适应平均池化和1x1x1卷积B×1×T×H’’×W’’核的卷积层将通道减少到1得到映射的特征Z’∈R ,其中,H''=W''=S,S是时空rPPG块的空间维度,时空rPPG块是rPPG信号在时空维度上的集合;时间膨胀特征T输入所述 B×1×T×H’’×W’’
空间注意力机制层进行处理后得到增强的空间注意力特征A∈R ;将空间维度B×N×T上的所有时间序列和平均时间序列沿通道维度进行串联得到时空注意力特征P∈R ,其中,N=S×S+1。
4.根据权利要求3所述的一种基于时空特征增强的无监督对比远程生理测量方法,其特征在于,步骤2.1中,低光增强模块由四层3×3×3卷积层和三层LeakyReLU激活层组成,卷积层1:采用3×3×3的卷积核,输入通道数为3,输出通道数为64,使用步幅为1和填充为1的设置,实现对输入视频序列X的特征提取;
LeakyReLU激活层1:使用LeakyReLU激活函数,通过引入非线性变换,增强网络的表达能力,提高对低光照条件下图像的适应性;
卷积层2:采用3×3×3的卷积核,输入和输出通道数均为64,同样使用步幅为1和填充为1的设置;
LeakyReLU激活层2:再次使用LeakyReLU激活函数,引入非线性变换;
卷积层3:采用3×3×3的卷积核,输入和输出通道数均为64,步幅为1,填充为1;
LeakyReLU激活层3:同样使用LeakyReLU激活函数,引入非线性元素;
卷积层4:最后一层卷积层采用3×3×3的卷积核,输入通道数为64,输出通道数为3,步幅为1,填充为1,实现最终的特征映射。
5.根据权利要求3所述的一种基于时空特征增强的无监督对比远程生理测量方法,其特征在于,步骤2.2中,卷积块由卷积层1×5×5卷积层、BatchNorm层和ELU激活层组成,用于提取时空特征;膨胀块由平均池化层、3×3×3核和2×1×1的扩展速率的膨胀卷积层、BatchNorm层和ELU激活层组成,用于增加时域感受野;下采样块由平均池化层、3×3×3卷积层、BatchNorm层和ELU激活层组成,用于下采样;上采样块由3×1×1卷积层、BatchNorm层和ELU激活层组成,用于上采样。
6.根据权利要求1所述的一种基于时空特征增强的无监督对比远程生理测量方法,其特征在于,步骤3中,对时空注意力特征P进行时空采样,在时间维度上进行采样,得到rPPG样本P’=[P’1,…,P’N];对每个样本,计算归一化的功率谱密度PSDs[f1,…,fN],然后添加到T×1 T×1列表中,最后得到的是采样rPPG列表F∈R ;将rPPG列表 F∈R 进行带通滤波,滤除信号中超过阈值范围的信号,再用快速傅里叶变化计算滤波后的信号的最大频率f,从而计算目标人员的心率。