1.基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,执行如下步骤S1‑步骤S5,完成夜间高速公路雾天能见度的等级检测:步骤S1:实时采集摄像头拍摄的高速公路雾天情况的夜间图像,以所采集的夜间图像构建训练集、测试集;
步骤S2:构建基于低光图像增强的能见度检测网络模型,包括增强网络模块、亮通道先验计算模块、融合分类网络;将步骤S1所采集的夜间图像分别输入增强网络模块、亮通道先验计算模块,其中增强网络模块基于Unet网络和全局判别器,并经过卷积神经网络,将输入的夜间图像进行低光照增强,获得深度视觉特征X1;亮通道先验计算模块根据输入的夜间图像中各像素的亮度,获得亮度特征X2;将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,并进行能见度预测,输出能见度等级分类;
步骤S2中所构建的基于低光图像增强的网络模型如下式:
S1=Nf(Nz(X)),S2=Nl(X)
Y=Nt(Contact(S1,S2))
其中,X为输入的夜间图像,Nz()为增强网络模块,Nf()为卷积神经网络,Nl()为亮通道先验计算模块,Nt()为融合分类网络,S1表示深度视觉特征X1,S2表示亮度特征X2,Contact表示拼接操作,Y为输出的能见度等级分类;
步骤S2的具体步骤如下:
步骤S2.1:增强网络模块包括Unet网络和全局判别器,将夜间图像输入Unet网络进行低光图像增强,获得合成增强图像;全局判别器用来指导Unet网络生成更加真实的伪图像;
在Unet网络中将RGB图像形式的夜间图像的光照通道标准化为[0,1],作为自正则注意图,并调整自正则注意图大小适应每个尺度的特征图,其中特征图指Unet网络中的中间层输出,包含了夜间图像在不同尺度下的特征表示;最后将其与对应的特征图以及Unet网络最终输出的低光照增强的夜间图像相乘,从而获得增强后的夜间图像;
步骤S2.2:将增强后的夜间图像通过卷积神经网络,卷积神经网络中使用9个卷积层,最终得到深度视觉特征X1;
步骤S2.3:将夜间图像输入亮通道先验计算模块,针对夜间图像采用滑动窗口,计算夜间图像中局部区域中各像素的最大亮度,最终获得亮度特征X2,亮通道先验计算模块的计算公式如下:其中,Ibright(x)表示像素x的亮通道值,Ω(x)是以像素x为中心的邻域,y表示领域Ω(x)中的像素,c表示RGB彩色图像中的通道,r、g、b表示红、绿、蓝三个通道的索引,Ic(x)是原图像的RGB彩色图像;
步骤S2.4:将深度视觉特征X1、亮度特征X2输入融合分类网络进行拼接,获得融合特征,将融合特征分为不同的空间块,输入至Transformer网络进行能见度预测,输出能见度等级分类;
步骤S3:设计损失函数,以优化基于低光图像增强的网络模型,预设网络模型的训练超参数;
步骤S4:将训练集输入基于低光图像增强的网络模型中,根据损失函数,采用Adam优化器对网络模型中需要优化的参数进行迭代优化与更新,直至网络模型收敛,训练完毕;
步骤S5:针对训练好的基于低光图像增强的网络模型,采用测试集进行测试,直至在测试集上达到精度要求,应用基于低光图像增强的网络模型,完成夜间高速公路雾天能见度的等级检测。
2.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S1中,首先获取不同时段、不同地区的高速公路雾天夜间图像,根据能见度距离将各夜间图像分为4个能见度等级,并将每个能见度等级中的夜间图像按照预设比例划分出训练集和测试集。
3.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S2.4的具体方法如下:采用如下公式将将融合特征所分的各空间块展开为一维向量:
其中,s0为嵌入向量序列,xclass为可学习的类别向量, 是将融合特征分为不同的空间块后,每个空间块展开得到的一维向量,上角标l∈{1,2,…,N},N为空间块总数量,E是实现线性映射的矩阵,Epos是位置编码,M表示每个空间块的高度和宽度,C表示每个空间块中的通道数,d表示线性映射矩阵的输出维度;
经过通过L层的Transformer网络编码之后,获得类别向量 将类别向量 经过归一化后输入由多头自注意力MSA和多层感知机MLP构成的分类头中,最终得到能见度等级分类,其中多头自注意力MSA表示为下式:MSA(s)=[SelfAttention1(s);…;SelfAttentionk(s)]EMSA其中,Q、K、V为通过线性映射矩阵投影得到的三个向量,dh表示自注意力头的维度,s表示输入的特征,EMSA表示映射矩阵,k为自注意力头的个数;
预测得到夜间图像的类别特征如下式:
s1′=MSA(LayerNorm(s1))+s
s2=MLP(LayerNorm(s1′))+s1′
其中,s1表示经过多头自注意力层处理后得到的特征向量,s1′表示添加残差连接后得到的特征向量,s2表示通过多层感知机层处理后得到的特征向量,LayerNorm表示层归一化;
输出的能见度等级分类如下式:
Y=LayerNorm(s2)
式中,Y为输出的能见度等级分类。
4.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S3中所设计的损失函数包括判别器损失L1(θ)、自特征保留损失L2(θ)和分类损失函数L3(θ),总的损失函数为L(θ)=L1(θ)+L2(θ)+L3(θ),θ为需要优化的参数,网络模型的训练超参数包括模型学习率α、迭代次数epoch、训练批次大小S、网络模型的深度与层数。
5.根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法,其特征在于,步骤S4包括:对网络模型的训练超参数进行初始化、通过反向传播更新需要优化的参数、重复迭代训练直到网络模型收敛,训练完毕。