1.一种非接触式生理心理多参数检测方法,其特征在于,所述方法包括:获取面部感兴趣区域图像的序列,作为第一图像序列;
计算所述第一图像序列中相邻两帧的归一化帧差,得到归一化帧差序列;
基于预设的二维卷积层对所述归一化帧差序列的特征进行提取,得到第一图像特征;
将所述第一图像特征中通道维度和时间维度的顺序进行交换,并将空间维度中的宽、高两个维度平展成一个维度,得到第二图像特征;
基于预设的二维卷积层对所述第二图像特征的局部时空信息进行融合,得到第三图像特征;
基于预设的全局时空自注意力层对所述第三图像特征的全局时空信息进行融合,并进行特征提取,得到第四图像特征;
对所述第四图像特征的空间维度特征进行融合,并对融合后的第四图像特征的时间维度尺寸进行上采样处理,以使上采样处理后的时间维度尺寸与所述归一化帧差序列的长度相同,并将上采样处理后的第四图像特征的通道维度映射为1,得到映射处理后的信号,作为rPPG信号;
基于所述rPPG信号,对用户的生理参数进行检测;其中,所述生理参数包括血压、呼吸率和心率。
2.根据权利要求1所述的方法,其特征在于,所述预设的全局时空自注意力层包括3个相同的全局时空自注意力层,其中,每一全局时空自注意力层的处理过程包括:Q K V
基于三个像素维度的线性映射操作W 、W、W,分别对所述第三图像特征F3进行线性映射Q K V处理,得到查询特征Q、键特征K和值特征V;其中,Q=W·F3、K=W·F3、V=W·F3;
将Q,K,V分别重组为四维特征Q′,K′,V′,重组后的特征维度为N′×P′×1×C;其中,N′表示第三图像特征的帧数,P′表示第三图像特征中高与宽的乘积;C表示通道数;
遍历时间维度的索引i和空间维度的索引j,根据图像特征Q′中位于第i个时间位置、第j个空间位置的特征向量q′ij,分别在图像特征K′和V′中获取处于第i个时间位置的P′个特征向量和处于第j个空间位置的N′特征向量,并分别拼接得到二维向量k″ij和v″ij,并基于所有时空位置的二维向量k″ij和v″ij,得到特征向量K″和V″;将Q′,K″,V″中第一、第二个维度重组为batch size的一部分;其中,重组后Q′的特征维度为BN′P′×1×C,K″和V″的特征维度为BN′P′×(N′+P′)×C,B表示batch size;
基于Q′和K″向量间的相似度,批量计算自注意力分数A,且A=Softmax(Q′K″);
基于所述自注意力分数A对V″进行加权融合,得到融合后的图像特征O,O=AV″;
将图像特征O线性映射至另一特征空间,进行重组处理,得到第四图像特征;其中,所述第四图像特征与所述第三图像特征的尺寸一致。
3.根据权利要求1所述的方法,其特征在于,所述基于所述rPPG信号,对用户的生理参数进行检测,包括:基于预设的血压检测网络对所述rPPG信号进行处理,得到血压数值;其中,所述血压检测网络与rPPG信号提取网络进行级联;所述rPPG信号提取网络以归一化帧差序列作为输入数据,用于输出所述rPPG信号;
rPPG信号提取网络与血压检测网络构成的级联网络在训练过程中的损失函数包括rPPG信号提取的损失函数loss_rppg和血压预测的损失函数loss_bp两个部分,其中rPPG信号提取的损失函数为rPPG信号的时域损失loss1和频域损失loss2的加权和,即loss_rppg=α·loss1+β·loss2;其中,loss1为rPPG信号与对应PPG信号之间计算得到的反向皮尔逊相关系数,α表示第一预设系数;loss2为rPPG信号的功率谱密度与心率标签之间计算得到的交叉熵损失值,β表示第二预设系数;血压预测的损失函数loss_为血压预测值与真实值之间的均方误差。
4.根据权利要求1所述的方法,其特征在于,所述基于所述rPPG信号,对用户的生理参数进行检测,包括:对所述rPPG信号进行峰值检测,得到相邻峰值之间的间隔时间长度;
基于预设公式对所述间隔时间长度进行处理,得到rPPG时域信号;
基于傅里叶变换将所述rPPG时域信号转换为rPPG频域信号,并计算所述rPPG频域信号中低频范围内的功率LF、高频范围内的功率HF、低频与高频功率之比LF/HF;
基于庞加莱散点图法对所述rPPG频域信号进行非线性分析,将得到的连续心跳间隔在二维平面中绘制椭圆图形;
将所述椭圆图形的半长轴SD1和半短轴SD2作为所述rPPG频域信号的非线性指标。
5.根据权利要求1所述的方法,其特征在于,在所述获取面部感兴趣区域图像的序列,作为第一图像序列之前,所述方法还包括:实时采集用户的可见光面部视频和热红外视频;
对所述可见光视频和所述热红外视频进行分帧处理,将分帧处理后的可见光视频作为可见光图像,将分帧处理后的热红外视频作为热红外图像;
基于openface面部检测算法获取所述可见光图像中的面部关键特征点;
基于所述面部特征点确定所述可见光图像中的面部感兴趣区域和鼻子感兴趣区域;
将所述可见光图像中面部感兴趣区域作为面部感兴趣区域图像。
6.根据权利要求5所述的方法,其特征在于,在所述基于所述面部特征点确定所述可见光图像中的面部感兴趣区域和鼻子感兴趣区域之后,所述方法还包括:利用仿射变换完成所述可见光图像和所述热红外图像的配准;
基于所述可见光图像中的可见鼻子感兴趣区域映射至所述热红外图像中,得到所述热红外图像中可见鼻子感兴趣区域的图像,作为鼻子感兴趣图像;
基于所述热红外视频的时间顺序,获取鼻子感兴趣图像的序列,作为鼻子感兴趣图像序列;
基于所述鼻子感兴趣图像序列,获取呼吸率。
7.根据权利要求5所述的方法,其特征在于,在所述对所述可见光视频和所述热红外视频进行分帧处理,将分帧处理后的可见光视频作为可见光图像,将分帧处理后的热红外视频作为热红外图像之后,所述方法包括:基于openface面部检测算法获取所述可见光图像中的面部特征点运动轨迹序列、面部运动单元强度序列、眼睛注视角度序列、头部位姿坐标序列和每一帧面部区域图像;
基于FACS定义的动作单元对所述面部特征点运动轨迹序列、面部运动单元强度序列、眼睛注视角度序列、头部位姿坐标序列进行分析,得到用户的情绪状态;
基于预设的深度卷积神经网络DenseNet对所述每一帧面部区域图像进行分类处理,得到情绪状态的概率分布。
8.根据权利要求7所述的方法,其特征在于,在所述基于openface面部检测算法获取所述可见光图像中的面部特征点运动轨迹序列、面部运动单元强度序列、眼睛注视角度序列、头部位姿坐标序列和每一帧面部区域图像之后,所述方法还包括:对面部特征点运动轨迹序列、面部运动单元强度序列、眼睛注视角度序列、头部位姿坐标序列和面部时空特征进行串行融合的处理,得到处理后的特征向量;其中,所述面部时空特征为基于3DCNN网络对面部区域图像进行三维卷积所得到的;
基于主成分分析算法对所述处理后的特征向量进行降维处理,得到降维处理后的特征向量;
将所述降维处理后的特征向量输入至基于预先训练完成的SVM模型,得到所述SVM模型输出的用户焦虑情绪概率值。
9.根据权利要求7所述的方法,其特征在于,所述在基于openface面部检测算法获取所述可见光图像中的面部特征点运动轨迹序列、面部运动单元强度序列、眼睛注视角度序列、头部位姿坐标序列和每一帧面部区域图像之后,所述方法还包括:基于卷积神经网络提取所述面部运动单元强度序列、眼睛注视角度序列、头部位姿坐标序列和生理数据的空间特征,分别得到空间特征序列SA、SE、SH、SP;
基于长短期记忆神经网络提取所述空间特征序列SA、SE、SH、SP的时间特征,分别得到多维时空特征STA、STE、STH、STP;
对所述多维时空特征STA、STE、STH、STP进行多通道特征融合,得到多通道特征融合后的特征Y;
对所述特征Y进行特征降维,并基于多分类激活函数softmax对特征降维后的Y进行分类处理,得到预设抑郁等级的分类评估数据。
10.一种非接触式生理心理多参数检测系统,其特征在于,所述系统包括:第一获取模块,用于获取面部感兴趣区域图像的序列,作为第一图像序列;
第一计算模块,用于计算所述第一图像序列中相邻两帧的归一化帧差,得到归一化帧差序列;
第一提取模块,用于基于预设的二维卷积层对所述归一化帧差序列的特征进行提取,得到第一图像特征;
第一交换模块,用于将所述第一图像特征中通道维度和时间维度的顺序进行交换,并将空间维度中的宽、高两个维度平展成一个维度,得到第二图像特征;
第一融合模块,用于基于预设的二维卷积层对所述第二图像特征的局部时空信息进行融合,得到第三图像特征;
第二融合模块,用于基于预设的全局时空自注意力层对所述第三图像特征的全局时空信息进行融合,得到第四图像特征;
第三融合模块,用于对所述第四图像特征的空间维度特征进行融合,并对融合后的第四图像特征的时间维度尺寸进行上采样处理,以使上采样处理后的时间维度尺寸与所述归一化帧差序列的长度相同,并对上采样处理后的第四图像特征的通道维度映射为1,得到映射处理后的信号,作为rPPG信号;
第一检测模块,用于基于所述rPPG信号,对用户的生理参数进行检测;其中,所述生理参数包括血压、呼吸率和心率。