利索能及
我要发布
收藏
专利号: 2023112568912
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种非接触式应激状态识别方法,其特征在于,所述方法包括:

获取面部可见光视频;

基于所述面部可见光视频,获取第一待处理数据;其中,所述第一待处理数据包括:面部运动单元强度序列、注视角度坐标序列、头部姿态坐标序列和rPPG信号;

基于预设的特征网络对所述第一待处理数据进行空间维度和时间维度的卷积处理,得到卷积处理后的第二待处理数据;其中,所述第二待处理数据包括:面部运动单元强度序列的时空特征序列STA、注视角度坐标序列的时空特征序列STE、头部姿态坐标序列的时空特征序列STH和rPPG信号时空特征序列STR;所述特征网络由VGG16卷积神经网络和长短时记忆网络组成;

基于预设的查询向量Q、键K、值V、梯度dm和softmax函数,获取交叉注意力权重向量W′;

基于所述交叉注意力权重向量W′分别对所述第二待处理数据进行加权融合,得到加权融合后的特征描述符Y′;

对所述特征描述符Y′进行降维处理,并基于预设的多分类激活函数softmax对降维处理后的特征描述符和HRV信号进行应激状态识别,得到对应的应激状态等级;其中,所述HRV信号是基于所述rPPG信号所得到的。

2.根据权利要求1所述的方法,其特征在于,所述基于预设的特征网络对所述第一待处理数据进行空间维度和时间维度的卷积处理,得到卷积处理后的第二待处理数据,包括:基于预设的VGG16网络对所述第一待处理数据进行空间维度上的卷积处理,并基于预设的长短时记忆网络对所述第一待处理数据进行时间维度上的卷积处理,将卷积处理后的数据进行特征融合,得到第二待处理数据;

其中,所述基于预设的VGG16网络对所述第一待处理数据进行空间维度上的卷积处理,包括:基于所述预设的VGG16网络中的卷积层对所述第一待处理数据进行卷积处理,获取所述VGG16网络中每一池化层中的层级特征,并对每一层级特征设置权重数值;

基于所述权重数值分别对每一所述第一待处理数据的层级特征进行特征融合处理,并将特征融合处理后的特征输入至所述预设的VGG16网络中的全连接层。

3.根据权利要求1所述的方法,其特征在于,所述基于所述面部可见光视频,获取第一待处理数据,包括:获取所述面部可见光视频中的每一图像帧,作为第一待处理图像;

将所述第一待处理图像中像素点的RGB值,转换为YCbCr空间的色彩表示,作为第二待处理图像;

基于所述第二待处理图像和openface开源工具包,获取面部运动单元强度序列、注视角度坐标序列和头部姿态坐标序列。

4.根据权利要求3所述的方法,其特征在于,在所述获取所述面部可见光视频中的每一图像帧,作为第一待处理图像之后,所述方法还包括:基于漫水法划分出所述第一待处理图像中的人脸感兴趣区域;

基于平面正交皮肤算法提取所述人脸感兴趣区域中的rPPG信号。

5.一种非接触式应激状态识别系统,其特征在于,所述系统包括:

第一获取模块,用于获取面部可见光视频;

第二获取模块,用于基于所述面部可见光视频,获取第一待处理数据;其中,所述第一待处理数据包括:面部运动单元强度序列、注视角度坐标序列、头部姿态坐标序列和rPPG信号;

卷积处理模块,用于基于预设的特征网络对所述第一待处理数据进行空间维度和时间维度的卷积处理,得到卷积处理后的第二待处理数据;其中,所述第二待处理数据包括:面部运动单元强度序列的时空特征序列STA、注视角度坐标序列的时空特征序列STE、头部姿态坐标序列的时空特征序列STH和rPPG信号时空特征序列STR;所述特征网络由VGG16卷积神经网络和长短时记忆网络组成;

第三获取模块,用于基于预设的查询向量Q、键K、值V、梯度dm和softmax函数,获取交叉注意力权重向量W′;

加权融合模块,用于基于所述交叉注意力权重向量W′分别对所述第二待处理数据进行加权融合,得到加权融合后的特征描述符Y′;

状态识别模块,用于对所述特征描述符Y′进行降维处理,并基于预设的多分类激活函数softmax对降维处理后的特征描述符和HRV信号进行应激状态识别,得到对应的应激状态等级;其中,所述HRV信号是基于所述rPPG信号所得到的。

6.根据权利要求5所述的系统,其特征在于,所述卷积处理模块包括:特征融合子模块,用于基于预设的VGG16网络对所述第一待处理数据进行空间维度上的卷积处理,并基于预设的长短时记忆网络对所述第一待处理数据进行时间维度上的卷积处理,将卷积处理后的数据进行特征融合,得到第二待处理数据;

其中,所述基于预设的VGG16网络对所述第一待处理数据进行空间维度上的卷积处理,包括:基于所述预设的VGG16网络中的卷积层对所述第一待处理数据进行卷积处理,获取所述VGG16网络中每一池化层中的层级特征,并对每一层级特征设置权重数值;

基于所述权重数值分别对每一所述第一待处理数据的层级特征进行特征融合处理,并将特征融合处理后的特征输入至所述预设的VGG16网络中的全连接层。

7.根据权利要求5所述的系统,其特征在于,所述第二获取模块包括:第一获取子模块,用于获取所述面部可见光视频中的每一图像帧,作为第一待处理图像;

第一转化子模块,用于将所述第一待处理图像中像素点的RGB值,转换为YCbCr空间的色彩表示,作为第二待处理图像;

第二获取子模块,用于基于所述第二待处理图像和openface开源工具包,获取面部运动单元强度序列、注视角度坐标序列和头部姿态坐标序列。

8.根据权利要求7所述的系统,其特征在于,所述卷积处理模块还包括:第一划分子模块,用于在所述获取所述面部可见光视频中的每一图像帧,作为第一待处理图像之后,基于漫水法划分出所述第一待处理图像中的人脸感兴趣区域;

第一提取子模块,用于基于平面正交皮肤算法提取所述人脸感兴趣区域中的rPPG信号。

9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1‑4任一所述方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑4任一所述方法的步骤。