1.一种基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于,包括以下步骤:步骤1:构建基于信噪比引导的噪声自适应网络的低光照图像增强系统,所述低光照图像增强系统设置有图像获取模块和信噪比引导的噪声自适应网络SNA‑Net,所述信噪比引导的噪声自适应网络SNA‑Net设置有输入层,该输入层的输出端连接CNN编码器、SNA编码器和信噪比图计算模块的输入端,所述CNN编码器、SNA编码器和信噪比图计算模块的输出端均与特征融合模块的输入端相连接,所述CNN编码器的输出端还经卷积残差块连接CNN解码器的输入端,所述CNN解码器的输入端还与所述特征融合模块的输出端相连接;
步骤2:所述图像获取模块获取低光照图像I,并传递给信噪比引导的噪声自适应网络SNA‑Net;
步骤3:所述信噪比引导的噪声自适应网络SNA‑Net的输入层获取所述低光照图像I,并传递给CNN编码器、SNA编码器和信噪比图计算模块;
步骤4:所述信噪比图计算模块对所述低光照图像I进行计算,得到对应的信噪比图S,然后将所述信噪比图S传递给特征融合模块和SNA编码器;
步骤5:所述CNN编码器对所述低光照图像I进行短距离编码,以捕获所述低光照图像I的局部信息,得到短距离特征数据ai,并传递给特征融合模块和卷积残差块;
所述SNA编码器采用所述信噪比图S作为先验知识计算出自注意力分数,然后对所述低光照图像I进行长距离编码,过滤掉噪声和冗余信息,得到长距离特征数据bi,并传递给特征融合模块;
步骤6:所述卷积残差块对所述短距离特征数据ai进行卷积残差操作,得到卷积残差数据d,并传递给CNN解码器;
所述特征融合模块将所述短距离特征数据ai和长距离特征数据bi进行特征融合操作,得到融合特征数据ci,并传递给CNN解码器;
步骤7:所述CNN解码器对所述卷积残差数据d和融合特征数据ci进行解码操作,得到增强图像
2.根据权利要求1所述的基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于:在所述步骤1中,所述CNN编码器设置有依次连接的第一CNN编码块、第二CNN编码块、第三CNN编码块和第四CNN编码块,所述SNA编码器设置有依次连接的第一SNA块、第二SNA块、第三SNA块和第四SNA块,所述特征融合模块设置有第一特征融合块、第二特征融合块、第三特征融合块和第四特征融合块,所述CNN解码器设置有依次连接的第一CNN解码块、第二CNN解码块、第三CNN解码块和第四CNN解码块;
所述第一CNN编码块和第一SNA块的输出端连接第一特征融合块的输入端,该第一特征融合块的输出端接第四CNN解码块的输入端;
所述第二CNN编码块和第二SNA块的输出端连接第二特征融合块的输入端,该第二特征融合块的输出端接第三CNN解码块的输入端;
所述第三CNN编码块和第三SNA块的输出端连接第三特征融合块的输入端,该第三特征融合块的输出端接第二CNN解码块的输入端;
所述第四CNN编码块和第四SNA块的输出端连接第四特征融合块的输入端,该第四特征融合块的输出端接第一CNN解码块的输入端。
3.根据权利要求1所述的基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于:在所述步骤4中,首先计算与低光照图像I对应的灰度图像Ig,然后按照以下公H×W式计算信噪比图S,S∈R ;
H×W
其中,Denoise()表示使用均值滤波器进行去噪操作,abs表示绝对值,N∈R 估计的噪声图。
4.根据权利要求2所述的基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于:所述第一CNN编码块、第二CNN编码块、第三CNN编码块和第四CNN编码块结构一致,均设置有一个3×3卷积层和一个下采样层,该3×3卷积层的输出端内置有LeakyReLU激活函数。
5.根据权利要求2所述的基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于:所述第一SNA块、第二SNA块、第三SNA块、第四SNA块结构一致,均设置有噪声自适应自注意力模块NASA和双域细化前馈网络DRFN;
每个SNA块中的噪声自适应自注意力模块NASA通过将信噪比图S作为先验知识,计算得到对应SNA块的自注意力分数Attn,然后通过自注意力分数Attn对所述低光照图像I或前级SNA块的输出数据进行长距离编码,得到当前SNA块的自注意力特征,然后通过双域细化前馈网络DRFN对所述自注意力特征进一步细化,得到当前SNA块的长距离特征数据bi。
6.根据权利要求5所述的基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于:所述噪声自适应自注意力模块NASA通过以下步骤得到当前SNA块的自注意力特征:步骤A1:所述噪声自适应自注意力模块NASA中的第一归一化层获取所述低光照图像I或前级SNA块的输出数据,并将其生成张量数据,然后传递给查询矩阵编码单元、键矩阵K编码单元、值矩阵V编码单元和第一加法单元;
步骤A2:所述查询矩阵编码单元通过第一1×1卷积层和第一3×3深度卷积层对所述张量数据进行编码,生成查询矩阵Q,并传递给第一乘法单元;
所述键矩阵K编码单元通过第二1×1卷积层和第二3×3深度卷积层对所述张量数据进行编码,生成键矩阵K,并将所述键矩阵K进行矩阵转置后,传递给第一乘法单元;
所述值矩阵V编码单元过第三1×1卷积层和第三3×3深度卷积层对所述张量数据进行编码,生成值矩阵V,并传递给第二乘法单元;
生成查询矩阵Q、键矩阵K和值矩阵V的表达式如下:
其中,Wd表示一个1×1的逐点卷积,Wp表示一个3×3的深度卷积,X表示张量数据;
T
步骤A3:所述第一乘法单元将所述查询矩阵Q和转置后的键矩阵K相乘,得到第一乘法矩阵,并传递给稀疏自注意力分支和密集自注意力分支;
步骤A4:所述密集自注意力分支根据第一乘法矩阵,通过第一Softmax函数计算得到第一注意力数据,并传递给第二加法单元;
所述稀疏自注意力分支使用归一化的信噪比图S′作为掩码,过滤掉第一乘法矩阵中信噪比值低于信噪比阈值的区域,然后通过第二Softmax函数计算信噪比值高于或等于信噪比阈值的区域的分数,得到第二注意力数据,并传递给第二加法单元;
步骤A5:所述第二加法单元采用第一注意力权重w1对第一注意力数据进行加权,采用第二注意力权重w2对第二注意力数据进行加权,并将加权后的第一注意力分数和第二注意力分数相加,然后通过第二乘法单元与值矩阵V相乘,得到自注意力分数Attn,表达式如下:Attn=w1*Dattn+w2*Sattn
T
Dattn=Softmax(QK/α)V
T
Sattn=Softmax(QK/α+(1‑S′)σ)V
其中,α是缩放参数,用于控制查询矩阵Q和键矩阵K的点积大小;σ是负标量‑1e9,Dattn为密集自注意力分数,Sattn为稀疏自注意力分数;
步骤A6:所述第二乘法单元将所述自注意力分数Attn传递给第四1×1卷积层进行卷积操作,然后通过第一加法单元将卷积结果与所述张量数据进行逐元素相加,得到当前SNA块的自注意力特征,并传递给双域细化前馈网络DRFN。
7.根据权利要求6所述的基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于:所述双域细化前馈网络DRFN通过以下步骤进一步细化自注意力特征:步骤B1:所述双域细化前馈网络DRFN中的第二归一化层对所述自注意力特征进行归一化操作,然后经第五1×1卷积层对归一化后的特征进行卷积操作,得到第五卷积数据,并传递给第六1×1卷积层、第四3×3深度卷积层和快速傅立叶变换单元FFT;
得到第五卷积数据的表达式如下:
Y′=Wd(LN(Y))
其中,Y为自注意力特征,LN为层归一化,Y′为第五卷积数据,Wd表示一个1×1的逐点卷积;
步骤B2:所述第六1×1卷积层对所述第五卷积数据进行卷积操作,然后经第五3×3深度卷积层进行深度卷积操作,得到第五深度卷积数据,并传递给第一逐元素乘法单元;
得到第五深度卷积数据的表达式如下:
Y″=WpWd(Y′)
其中,Wp表示一个3×3的深度卷积,Y″表示第五深度卷积数据;
所述第四3×3深度卷积层对所述第五卷积数据进行深度卷积操作,然后经GELU激活函数进行激活,得到第一激活数据,并传递给所述逐元素乘法单元;
得到第一激活数据的表达式如下:
其中, 为GELU激活函数,Y″′表示第一激活数据;
步骤B3:所述快速傅立叶变换单元FFT对所述第五卷积数据进行快速傅立叶变换,得到FFT数据,然后通过第二逐元素乘法单元将所述FFT数据与双域细化前馈网络DRFN的权重w进行逐元素相乘,然后经逆快速傅立叶变换单元IFFT进行逆快速傅立叶变换,再经GEGLU激活函数进行激活,得到第二激活数据,并传递给连接单元;
得到第二激活数据的表达式如下:
其中, 为快速傅立叶变换, 为逆快速傅立叶变换,w为双域细化前馈网络DRFN的权重,Yf为第二激活数据,ζ()表示GEGLU函数;
所述第一逐元素乘法单元对所述第五深度卷积数据和第一激活数据进行逐元素相乘,得到第一乘法数据,并传递给连接单元;
得到第一乘法数据的表达式如下:
Ys=Y″⊙Y″′
其中,⊙表示逐元素乘法,Ys为第一乘法数据;
步骤B4:所述连接单元对所述第二激活数据和第一乘法数据进行连接操作,然后经第七1×1卷积层进行卷积操作,得到第七卷积数据,并传递给第三加法单元;
步骤B5:所述第三加法单元将所述自注意力特征与第七卷积数据进行逐元素相加,得到当前SNA块的长距离特征数据bi;
得到当前SNA块的长距离特征数据bi的表达式如下:
其中, 表示连接操作。
8.根据权利要求2所述的基于信噪比引导的噪声自适应网络的低光照图像增强方法,其特征在于:所述第一特征融合块、第二特征融合块、第三特征融合块和第四特征融合块结构一致,均设置有第三乘法单元、第四乘法单元、第四加法单元、全局平均池化层、第一全连接层、第二全连接层、第五乘法单元、第六乘法单元、和第五加法单元,所述第二全连接层的输出端内置有Sigmoid函数;
在所述步骤6中,特征融合块获取对应的短距离特征数据ai和长距离特征数据bi并进行特征融合操作,得到当前特征融合块的融合特征数据ci,包括以下步骤:步骤C1:当前特征融合块中的第三乘法单元将归一化后的信噪比图作为掩码,将其与短距离特征数据ai相乘,得到第三乘法数据,并传递给第四加法单元和第五乘法单元;
当前特征融合块中的第四乘法单元将归一化后的信噪比图与长距离特征数据bi相乘,得到第四乘法数据,并传递给第四加法单元和第六乘法单元;
步骤C2:所述第四加法单元将所述第三乘法数据和第四乘法数据进行逐元素相加,然后经全局平均池化层进行全局平均池化操作,再依次经第一全连接层、第二全连接层进行全连接操作,然后经Sigmoid函数归一化后,得到短距离特征融合权重wa和长距离特征融合权重wd,并将短距离特征融合权重wa传递给第五乘法单元,将长距离特征融合权重wd传递给第六乘法单元;
步骤C3:所述第五乘法单元通过短距离特征融合权重wa对第三乘法数据进行加权,得到第五乘法数据,并传递给第五加法单元;
所述第六乘法单元通过长距离特征融合权重wd对第四乘法数据进行加权,得到第六乘法数据,并传递给第五加法单元;
步骤C4:所述第五加法单元对所述第五乘法数据和第六乘法数据进行逐元素相加,得到当前特征融合块的特征融合数据ci,表达式如下:ci=SGFF(ai×(1‑S′)+bi×S′)
其中,SGFF表示特征融合操作,S′表示归一化后的信噪比图,1‑S′表示将归一化后的信噪比图作为掩码。