1.一种深度卷积注意力和多尺度特征融合的低光图像增强方法,其特征在于:所述方法包括以下步骤:构建配对的数据集,所述数据集包括低光照图像和正常光照图像,每张低光照图像对应同一场景的正常光照图像;
以正常光照图像为参考图像,通过Embedding模块,提取低光照图像的浅层特征;
将所述浅层特征输入DAMFFN编码器中,所述DAMFFN编码器包括LLAB模块、下采样模块和MSFCB模块;所述LLAB模块包括LL‑MSAB模块和DBWEB模块;
通过LL‑MSAB模块,提取低光照图像的语义信息,并均衡不同通道间的特征权重,以提升图像的能见度;所述LL‑MSAB模块包括深度卷积、通道注意力机制、通道注意力图,所述LL‑MSAB模块使用深度卷积提取出不同通道的语义信息和局部特征,增大图像的局部对比度,使图像的纹理更加清晰;其次,LL‑MSAB模块中的通道注意力机制通过提取全局特征计算得到通道注意力图;最后,使用通道注意力图均衡图像矩阵不同通道之间的特征权重;
通过DBWEB模块,提高低光照图像的对比度;所述DBWEB模块包括两支1x1卷积层和3x3深度卷积层、Sigmoid激活函数、1x1卷积层,将输入图像复制成两份,分别通过两支1x1卷积层和3x3深度卷积层,将其中一个分支经过Sigmoid激活函数处理的结果和另一个分支处理的结果进行点乘,将点乘的结果通过一个1x1卷积层,得到DBWEB的输出;
通过MSFCB模块,修复图像质量,补偿丢失的细节信息;所述MSFCB模块包括三个MSC模块,三个MSC模块的输入特征矩阵均为DAMFFN编码器的第一个LLAB模块的输出;3个MSC模块的输出特征矩阵大小各不相同,MSC模块的输出特征矩阵还分别和DAMFFN编码器对应下采样的结果相加,完成不同尺度特征的融合;
在DAMFFN解码器中,通过多尺度频域损失函数减小增强图像和参考图像在频域空间上的差异;
输出最终增强的低光图像。
2.根据权利要求1所述的一种深度卷积注意力和多尺度特征融合的低光图像增强方法,其特征在于:所述embedding模块使用一个卷积模块将低光照图像的通道数从3增加至
48。
3.根据权利要求1所述的一种深度卷积注意力和多尺度特征融合的低光图像增强方法,其特征在于,所述通过LL‑MSAB模块,提取低光照图像的语义信息,并均衡不同通道间的特征权重,以提升图像的能见度,包括:浅层特征Xinput被输入到3x3深度卷积层以提取图像语义信息,以隐式建模通道内像素之间的局部关系,得到X,将所述X直接赋值给XQ、XK和XV;
将XQ、XK和XV分别重塑为三个一样的特征矩阵Q、K和V,表示如下:Q K V
XQ=XinputW ,XK=XinputW ,XV=XinputWQ K V
W=W=W,XQ=XK=XV=X
Q=Reshape(XQ),K=Reshape(XK),V=Reshape(XV)Q=K=V
Q K V
Xinput表示LL‑MSAB模块的输入特征矩阵,W 、W 和W 表示3x3深度卷积层的权重矩阵,Reshape(·)表示重塑操作;
将Q(Q=[Q1,...,QN]),K(K=[K1,...,KN])和V(V=[V1,...,VN])分成N个headj,其中每一个headj的通道维度为 C表示特征矩阵的通道总数;LL‑MSAB计算每一个headj的通道注意力图Attenj,表示如下:headj=Vj·Attenj
表示Kj的转置矩阵,αj表示一个可学习参数;
拼接N个headj,并连成线性投影,将得到的特征矩阵进行重塑,最后,将重塑结果输入到
1x1卷积层中得到LL‑MSAB的输出结果Xoutput,表示如下:Conv1(·)表示1x1卷积层,Concat(·)表示拼接操作,W是一个可学习参数,Reshape(·)表示重塑操作。
4.根据权利要求1所述的一种深度卷积注意力和多尺度特征融合的低光图像增强方法,其特征在于:所述通过DBWEB模块,提高低光照图像的对比度,包括:将输入的图像复制成两份,分别通过1x1卷积层和3x3深度卷积层;
将其中一个分支经过Sigmoid激活函数处理的结果和另一个分支处理的结果进行点乘;
将点乘的结果通过一个1x1卷积层,得到DBWEB的输出,表示如下:其中,φ表示Sigmoid激活函数, 表示3x3深度卷积层, 表示1x1深度卷积层⊙表示按元素相乘操作,Concat(·)表示拼接操作,wd表示1x1深度卷积层。
5.根据权利要求1所述的一种深度卷积注意力和多尺度特征融合的低光图像增强方法,其特征在于:所述多尺度频域损失函数表达如下:其中,Nums=4表示解码器的4个输出,H表示特征矩阵的高,W表示特征矩阵的宽,和 分别代表对于的增强图像和参考图像对应坐标上的像素值,∑表示求和符号,多尺度频域损失函数的计算方法如下所示:
其中,xi表示像素总数,f(·)表示快速傅里叶变换,∥·∥1表示L1范数,∑表示求和符号,总损失函数Loss如下所示:
Loss=LossMult‑MSE+λLossMult‑SFD其中,λ表示Mult‑SFD的权重超参数,λ=0.1。