1.一种低光环境下高精度的视线估计方法,其特征在于,具体包括以下步骤:S1.数据集预处理,模拟低光环境;
S2.低光图像增强,得到增强后的图像Ienhanced;
S3.增强图像Ienhanced校准,得到校准图像Icalibrated;
S4.图像进行特征提取,输出特征向量;使用改进的残差网络模型ResNet18对校准图像进行特征提取;
S5.通过全连接层将特征向量映射成三维输出向量O;
S6.对三维输出向量O的前两个元素应用双曲正切变换,以获取预测视线方向;
S7.对三维输出向量O的第三个元素通过sigmoid函数变换,得到视线预测的不确定性;
S8.采用MSELoss损失函数来度量预测结果与真实值之间的误差,并通过反向传播更新网络参数;
步骤S2中,通过增强网络模块对低光图像进行增强;S2具体步骤如下:S201.初始特征提取,输入图像I经过初始卷积层,提取基础特征:F0=ReLU(Conv0(I))
Conv0是初始卷积层;S202.自适应局部‑全局融合,即ALGCF;
通过局部特征提取器提取眼部区域的细节信息:
Flocal=Conv1(F0)
其中,Conv1是局部特征提取器的卷积层;
通过全局上下文信息提取器获取面部整体光照和结构信息:Fglobal=In(Conv2(AAP(F0)),size=Flocal)其中,AAP是自适应平均池化层;Conv2使用1×1卷积核生成全局特征图;随后通过插值In操作将全局特征调整到与局部特征相同的大小;
将局部和全局特征相结合,并生成融合权重,通过融合权重进行自适应的特征融合:其中,Concat将局部和全局特征组合成一个融合特征图;Conv3是门控机制的卷积层,σ表示Sigmoid函数,通过Sigmoid函数生成融合权重G;融合特征FALGCF根据融合权重G和1‑G自适应融合局部与全局特征;
S203.融合后的特征图FALGCF经过多个卷积块进一步提取特征:Fi+1=Fi+ReLU(BN(Convi(Fi)))Convi是每个卷积块的卷积层,Fi是第i层特征图;输出卷积层将融合特征图转换为增强图像:Foutput=σ(Conv4(Fi+1))Conv4是输出卷积层,通过卷积将特征图转换为增强图像,并通过Sigmoid激活函数将像素值归一化到0‑1范围内;
S204.将增强特征图与输入图像相加,得到最终的增强图像:Ienhanced=Clamp(Foutput+I,0,1)Clamp函数确保增强图像的像素值在范围内。
2.根据权利要求1所述的方法,其特征在于,S1中对Gaze360数据集执行预处理,构建反映各种低光条件下的新的Gaze360数据集;
对低光环境进行分类,包括:较暗的场景、极暗的场景、使用伽马校正模拟的低照度环境以及模拟带有不明光源位置的黑暗场景;
S1具体步骤如下:
S101.对于较暗的场景和极暗的场景,调整图像的亮度和对比度;
(1/G)
S102.对于使用伽马校正模拟的低照度环境图像集,通过O=I ×255得到伽马校正后的输出图像O,其中I是输入图像,G是伽马值;
S103.对于使用模拟带有不明光源位置的黑暗场景图像集,通过图像变暗和添加局部光源效果;首先通过调整亮度显著降低图像的整体亮度,增强夜间环境中暗部的表现;随后,通过在图像随机位置引入渐变的光源效果并应用高斯模糊,模拟特定光源的照明,确保光照效果在场景中自然融合。
3.根据权利要求1所述的方法,其特征在于步骤S3中,增强后的图像Ienhancea经过初始卷积层,得到校准特征图:Fcalib(0)=ReLU(BN(Conv5(Ienhanced)))其中,Conv5是校准网络的输入卷积层;Fcalib(0)表示增强后的图像通过初始卷积层处理后得到的特征图,即校准特征图;
校准特征图Fcalib(0)经过多个卷积块进行光照和细节的调整:Fcalib(i)=Fcalib(i‑1)+ReLU(BN(Convi(Fcalib(i‑1))))其中,Fcalib(i‑1)表示第i‑1层的输出特征图;Fcalib(i)是第i层卷积块的输出特征图;
最终的校准特征图经过输出卷积层,生成差异图像:ΔI=σ(Convout(Fcalib_i))其中,Convout是输出卷积层;Icalibrated=Ienhanced‑ΔI。
4.根据权利要求3所述的方法,其特征在于,步骤S4中,使用改进的残差网络模型ResNet18对校准图像进行特征提取,在第二和第三阶段引入注意力机制模块,以及在第四阶段引入特征净化模块。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1~4中任一项所述的低光环境下高精度的视线估计方法中的步骤。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~4中任一项所述的低光环境下高精度的视线估计方法中的步骤。