1.一种基于面部热成像的非接触式呼吸率检测方法,其特征在于,基于鲁棒非接触式呼吸率检测框架,所述鲁棒非接触式呼吸率检测框架包括热红外视频信号处理网络和自适应呼吸信号降噪网络;该方法包括:获取被测试者的实时热红外视频;
针对所述实时热红外视频的图像帧序列,基于所述热红外视频信号处理网络的全卷积单阶段目标检测神经网络进行面部ROI追踪,并基于追踪到的面部鼻子区域的平均像素值的变化,获取初始呼吸波信号;
针对所述初始呼吸波信号,基于所述自适应呼吸信号降噪网络的一维卷积层和注意力机制层,捕捉信号关键特征,以获取降噪呼吸波信号;
检测所述降噪呼吸波信号的波峰,计算所述被测试者的呼吸率;
所述自适应呼吸信号降噪网络具体包括五个1DCNN、两个MaxPooling层、两个UPSAMPLE层以及一个Attention层;所述针对所述初始呼吸波信号,基于所述自适应呼吸信号降噪网络的一维卷积层和注意力机制层,捕捉信号关键特征,以获取降噪呼吸波信号;包括:在编码器处,将所述初始呼吸波信号输入第一个1DCNN进行卷积计算,获取第一局部特征,接着将所述第一局部特征输入第一个MaxPooling层进行最大池化操作,获取第一下采样特征;
以及将所述第一下采样特征输入第二个1DCNN进行卷积计算,获取第二局部特征,接着将所述第二局部特征输入第二个MaxPooling层进行最大池化操作,获取第二下采样特征;
将所述第二下采样特征输入注意力机制层,通过分配不同权重来聚焦于输入信号的关键信息;
在解码器处,将所述注意力机制层的输出特征输入第三个1DCNN进行卷积计算,获取第三局部特征,接着将所述第三局部特征输入第一个UPSAMPLE层进行上采样操作,获取与输入信号维度相同的第一上采样特征;
将所述第一上采样特征输入第四个1DCNN进行卷积计算,获取第四局部特征,接着将所述第四局部特征输入第二个UPSAMPLE层进行上采样操作,获取与输入信号维度相同的第二上采样特征;
以及将所述第二上采样特征输入第五个1DCNN进行卷积计算,获取并输出第五局部特征,将所述第五局部特征作为降噪呼吸波信号。
2.如权利要求1所述的非接触式呼吸率检测方法,其特征在于,所述全卷积单阶段目标检测神经网络包括ResNet50主干网络、特征金字塔以及共享的检测头;所述针对所述实时热红外视频的图像帧序列,基于所述热红外视频信号处理网络的全卷积单阶段目标检测神经网络进行面部ROI追踪;包括:在所述ResNet50主干网络:对当前图像帧连续经过五层卷积,其中经过后三层卷积分别提取出三个不同尺度的图像特征C3,C4,C5;
在所述特征金字塔:分别将C3,C4,C5经过相应的卷积核为1×1的2DCNN;将处理后的C5作为D5,将处理后的C5上采样后和处理后的C4进行拼接后得到D4,以及将处理后的C4进行上采样后和处理后的C3进行拼接后得到D3;将D5,D4,D3输入特征提取层,分别经过相应的卷积核为3×3的2DCNN形成P3,P4,P5,并单独将P5依次通过两次卷积核为3×3的2DCNN分别形成P6,P7;
在所述检测头:将P3,P4,P5,P6,P7经过不同分支上的四个2DCNN‑GN‑ReLU层,之后经过相应的卷积核为3×3的卷积层,分别输出当前图像帧上的面部ROI类别、ROI坐标及置信度。
3.如权利要求1所述的非接触式呼吸率检测方法,其特征在于,所述基于追踪到的面部鼻子区域的平均像素值的变化,获取初始呼吸波信号;包括:计算当前图像帧t中面部鼻子区域的平均像素值:
其中,pixelij为坐标(xi,yi)处的像素值,(xi,yi)为位于第i行、第j列的像素的平面坐标;
遍历计算每一图像帧中面部鼻子区域的像素平均值后,形成初始呼吸波信号:
其中,m是实时热红外视频的总帧数。
4.如权利要求1所述的非接触式呼吸率检测方法,其特征在于,所述呼吸率表示为:其中,RR为呼吸率,PN为检测到的波峰的数量,第一个峰值和最后一个峰值的索引分别标记为FP和LP,两个相邻峰之间的平均距离为ADP,TF为一分钟内获取的实时热红外视频总帧数。
5.如权利要求1~4任一项所述的非接触式呼吸率检测方法,其特征在于,所述鲁棒非接触式呼吸率检测框架在训练阶段使用多样性数据集进行训练。
6.如权利要求1~4任一项所述的非接触式呼吸率检测方法,其特征在于,所述鲁棒非接触式呼吸率检测框架在训练阶段选择如下损失函数:其中,x、y分别为预测的呼吸波信号和真实的呼吸带信号,T是信号长度。
7.一种基于面部热成像的非接触式呼吸率检测系统,其特征在于,基于鲁棒非接触式呼吸率检测框架,所述鲁棒非接触式呼吸率检测框架包括热红外视频信号处理网络和自适应呼吸信号降噪网络;该系统用于执行如权利要求1所述的非接触式呼吸率检测方法,包括:获取模块,用于获取被测试者的实时热红外视频;
处理模块,用于针对所述实时热红外视频的图像帧序列,基于所述热红外视频信号处理网络的全卷积单阶段目标检测神经网络进行面部ROI追踪,并基于追踪到的面部鼻子区域的平均像素值的变化,获取初始呼吸波信号;
降噪模块,用于针对所述初始呼吸波信号,基于所述自适应呼吸信号降噪网络的一维卷积层和注意力机制层,捕捉信号关键特征,以获取降噪呼吸波信号;
检测模块,用于检测所述降噪呼吸波信号的波峰,计算所述被测试者的呼吸率。
8.一种存储介质,其特征在于,其存储有用于基于面部热成像的非接触式呼吸率检测的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~6任一项所述的非接触式呼吸率检测方法。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~6任一项所述的非接触式呼吸率检测方法。