利索能及
我要发布
收藏
专利号: 2022101767180
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种非接触式多生理参数的同步检测方法,其特征在于,预先构建一个带有注意力机制的多任务网络架构,该多任务网络架构包括共享网络和若干子任务网络;所述同步检测方法包括:S1、分别采集受试者的可见光视频和热红外视频;

S2、预处理所述可见光视频和热红外视频,获取所述可见光视频中人脸图像对应的第一时空特征图,以及所述热红外视频中人脸图像对应的第二时空特征图;

S3、将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中,分别获取不同层次的特征提取图;

S4、将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块,获取当前层次的融合特征;

S5、将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中,结合上一层注意力模块的输出,获取当前层注意力模块输出的任务相关特征;

S6、将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中,获取多层次融合特征,预测对应的生理参数指标;

所述S3中两个结构相同但参数不共享的神经网络是指:两个只保留了特征提取部分,舍弃池化层和全连接层Resnet‑34网络;

所述特征融合块包括两层深度可分离卷积层、激活函数层、压缩和激励网络模块;

所述S4包括:

S41、定义 和 分别表示所述第一时空特征图、第二时空特征图第m层生成的特征提取图,连接所述 和 依次输入所述两层深度可分离卷积层和激活函数层,获取当前层次对应的初步融合特征;

其中, 表示级联操作, 表示哈达玛积;DSC_t表示第t层深度可分离卷积,t取1或者

2;ReLU表示激活函数;fm_msm表示依次经过模态注意和空间注意之后的初步融合特征;

S42、将所述初步融合特征输入所述压缩和激励网络模块,获取当前层次对应的所述融合特征;

fm_mscm=fm_msm×SE(fm_msm)其中,SE为所述压缩和激励网络模块;fm_mscm为经过通道加权后的所述融合特征;

所述S5包括:

对于任意任务u,定义该任务u在第m层注意力模块中的注意力遮罩表示为 计算第m层注意力模块中输出任务相关特征:其中, 均为带有批正则化和非线性激活层的卷积块; 和 用于生成注意力遮罩; 的激活函数为sigmoid,用于确保生成的注意力遮罩 如果 那么注意力遮罩遮罩变为一个一致映射,子任务采用全部融合特征;

所述S6中多层次融合特征表示为:

其中,Conv、fl均为带有卷积层、批正则化和非线性激活层的操作块;M表示注意力模块的总层数。

2.如权利要求1所述的同步检测方法,其特征在于,所述S2包括:S21、根据所述可见光视频和热红外视频的图像序列,分别采用密集人脸对齐方法进行所述受试者的人脸检测与面部关键点标记;

S22、确定受试者人脸图像的若干感兴趣区域,分别提取所述可见光视频和热红外视频每一帧图像序列对应的iPPG信号;

S23、按照时间顺序拼接所述iPPG信号,获取所述第一时空特征图和第二时空特征图。

3.如权利要求1所述的同步检测方法,其特征在于,所述多任务网络架构包括3个子任务网络,分别对应于回归预测心率、血压和呼吸率3个子任务。

4.一种非接触式多生理参数的同步检测系统,其特征在于,预先构建一个带有注意力机制的多任务网络架构,该多任务网络架构包括共享网络和若干子任务网络;所述同步检测系统包括:采集模块,用于分别采集受试者的可见光视频和热红外视频;

预处理模块,用于预处理所述可见光视频和热红外视频,获取所述可见光视频中人脸图像对应的第一时空特征图,以及所述热红外视频中人脸图像对应的第二时空特征图提取模块,用于将所述第一时空特征图、第二时空特征图分别输入所述共享网络的两个结构相同但参数不共享的神经网络中,分别获取不同层次的特征提取图;

融合模块,用于将所述第一时空特征图、第二时空特征图相同层次的特征提取图输入所述共享网络对应的特征融合块,获取当前层次的融合特征;

学习模块,用于将当前层次的融合特征分别输入各个所述子任务网络对应的注意力模块中,结合上一层注意力模块的输出,获取当前层注意力模块输出的任务相关特征;

预测模块,用于将各层注意力模块输出的任务相关特征共同输入所属子任务网络的多层次特征融合模块中,获取多层次融合特征,预测对应的生理参数指标;

所述提取模块中两个结构相同但参数不共享的神经网络是指:两个只保留了特征提取部分,舍弃池化层和全连接层Resnet‑34网络;

所述特征融合块包括两层深度可分离卷积层、激活函数层、压缩和激励网络模块;

所述融合模块用于:

S41、定义 和 分别表示所述第一时空特征图、第二时空特征图第m层生成的特征提取图,连接所述 和 依次输入所述两层深度可分离卷积层和激活函数层,获取当前层次对应的初步融合特征;

其中, 表示级联操作, 表示哈达玛积;DSC_t表示第t层深度可分离卷积,t取1或者

2;ReLU表示激活函数;fm_msm表示依次经过模态注意和空间注意之后的初步融合特征;

S42、将所述初步融合特征输入所述压缩和激励网络模块,获取当前层次对应的所述融合特征;

fm_mscm=fm_msm×SE(fm_msm)其中,SE为所述压缩和激励网络模块;fm_mscm为经过通道加权后的所述融合特征;

所述学习模块用于:

对于任意任务u,定义该任务u在第m层注意力模块中的注意力遮罩表示为 计算第m层注意力模块中输出任务相关特征:其中, 均为带有批正则化和非线性激活层的卷积块; 和 用于生成注意力遮罩; 的激活函数为sigmoid,用于确保生成的注意力遮罩 如果 那么注意力遮罩遮罩变为一个一致映射,子任务采用全部融合特征;

所述预测模块中多层次融合特征表示为:

其中,Conv、fl均为带有卷积层、批正则化和非线性激活层的操作块;M表示注意力模块的总层数。

5.一种存储介质,其特征在于,其存储有用于非接触式多生理参数的同步检测的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~3任一项所述的同步检测方法。

6.一种电子设备,其特征在于,包括:

一个或多个处理器;

存储器;以及

一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~3任一项所述的同步检测方法。