利索能及
我要发布
收藏
专利号: 2024100058148
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于局部超分辨率融合注意力机制的视线估计方法,其特征在于,包括如下步骤:步骤S1、使用摄像头获取帧图像;

步骤S2、采用人脸检测模型对人脸区域和双眼区域进行检测和定位,将人脸图像进行裁剪,并截取眼部图像;

步骤S3、将人脸图像通过人脸注意力强化特征提取模块,强化并提取人脸图像特征;

步骤S4、将双眼图像通过基于局部超分辨率的眼部特征提取模块,提取双眼图像特征;

步骤S5、通过全连接层融合提取的人脸图像和双眼图像特征得到视线估计结果;

步骤S3中,所述人脸注意力强化特征提取模块,采用ResNet18模型作为脸部特征提取模块的基准模型,对于每个标准的残差块,公式如下所示:Fout=l(f(Fin,Wi)+Fin) (1)其中,l表示ReLU激活函数,f是残差块中的权重操作,W是该操作的权重,Fin是残差块的输入,Fout表示残差块的输出;

步骤S4中,所述基于局部超分辨率的眼部特征提取模块,采用FSRCNN作为超分辨率重建的网络;

FSRCNN算法主要分为特征提取、收缩与扩展、反卷积三部分;第一部分为特征提取,该特征提取部分使用较小的卷积核,大小为5×5,从低分辨率的眼部图像中提取特征,特征提取阶段表示的公式如下:其中,ILR表示低分辨率眼部图像,PRELU表示PreLU激活函数,d表示特征图的数量;

第二部分为收缩与扩展,其中收缩阶段使用1×1的卷积核,以减少特征映射的数量,映射阶段是在收缩后的特征空间上进行非线性映射,通过多个连续的3×3卷积层实现,其中特征映射阶段表示的公式如下:第三部分是反卷积,使用反卷积层来扩大特征映射的空间尺寸,将低分辨率的特征映射转换为高分辨率图像的特征图,公式如下所示:

9×9

FSR=DeConv (F) (9)

其中,DeConv表示反卷积操作。

2.根据权利要求1所述的基于局部超分辨率融合注意力机制的视线估计方法,其特征在于,步骤S2中,所述人脸检测模型采用基于卷积神经网络的人脸检测模型。

3.根据权利要求2所述的基于局部超分辨率融合注意力机制的视线估计方法,其特征在于,步骤S3中,所述人脸注意力强化特征提取模块在ResNet18基准模型的基础上添加CBAM注意力机制;CBAM注意力机制在特征映射中加入两种注意力模块:通道注意力模块和空间注意力模块;

通道注意力模块旨在为每个通道分配一个权重,通过全局平均池化和全局最大池化获C×H×W得的特征来实现;对于给定的特征图F∈R  ,首先计算全局平均池化和全局最大池化,通道注意力表示为这两个值经过一个共享的多层感知器进行处理,并组合,公式如下所示:其中,σ表示Sigmoid激活函数,MCA表示通道注意力, 表示全局平均池化, 表示全局最大池化;

空间注意力模块旨在为每个空间分配一个权重,首先仍然是计算全局平均池化和全局最大池化,但这次是沿着空间的维度,最后拼接两个特征图,并且通过一个7×7的卷积层,然后通过一个Sigmoid激活函数,公式如下:

7×7

MSA(F)=σ(Conv ([Fgap;Fgmp])) (3)

7×7

其中,Conv 表示7×7的卷积层处理;

人脸注意力强化特征提取模块在每个阶段的最后都添加CBAM注意力模块以增强特征,对每个残差阶段,表示公式如下:其中,↓表示下采样;经过CBAM注意力机制强化后的特征表示为:其中, 表示对应元素相乘,FFA表示经过CBAM注意力强化后的脸部特征图。

4.根据权利要求3所述的基于局部超分辨率融合注意力机制的视线估计方法,其特征在于,步骤S4中,所述基于局部超分辨率的眼部特征提取模块,采用眼部特征提取DeepEyeNet进行提取特征;DeepEyeNet是眼部深度特征提取CNN网络,它由十个卷积块组成,为相对深度的卷积神经网络,特征映射的空间尺寸在网络的深度中逐渐减小,左右眼均经过类似的结构,公式如下所示:FE′=FCE(FLAT(γ(FSR))) (10)其中,γ表示DeepEyeNet的特征提取操作,FE′表示输出眼部特征,FCE表示眼部全连接操作;

获得脸部、双眼的特征后,网络经过一个全连接层,连接脸部、左眼、右眼特征,输出最后的二维特征作为视线估计结果:ξpred=FCT([FCFA(FFA);FE′]) (11)其中,FCFA表示脸部全连接操作。

5.根据权利要求4所述的基于局部超分辨率融合注意力机制的视线估计方法,其特征在于,采用MSELoss作为视线估计的损失函数,该视线估计的损失函数是:其中,视线的真实值为ξgt,视线估计的预测值为ξpred。