1.一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:包括如下步骤:
从暴雨场景下可见光图像的Y通道图像中分别提取可见光特征以及雨滴层的细节纹理特征,获取具有可见光特征的特征图以及具有雨滴层细节纹理特征的特征图;对具有可见光特征的特征图中的全局背景特征进行多尺度和多方向的特征提取,并计算特征图中水平方向权重和垂直方向权重,得到包含方向权重的增强特征图,对具有雨滴层细节纹理特征的特征图中的雨滴层边缘信息和细节特征进行提取并增强,计算特征图中水平方向权重和垂直方向权重,得到包含方向权重且具有丰富雨滴边缘信息和纹理细节的雨滴层特征图,而后,对所述增强特征图以及所述雨滴层特征图进行相减操作,得到具有雨滴层干扰减少且背景细节信息增强的背景细节特征图;
对红外图像中的热辐射信息进行提取,得到具有热辐射信息的特征图,对具有热辐射信息的特征图进行多尺度和多方向的特征提取,并计算特征图中水平方向权重和垂直方向权重,得到包含方向权重且热辐射信息增强的重建红外图像特征图;而后,将背景细节特征图与重建红外图像特征图利用跨模态互补特征融合网络实现跨模态互补特征的融合,得到Y通道融合图像。
2.根据权利要求1所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:具体包括以下步骤:
S1、获取训练集和测试集;
S2、构建背景细节增强提取网络,利用训练集训练背景细节增强提取网络,得到背景细节增强提取网络模型;
所述背景细节增强提取网络包括可见光信息提取分支、与可见光信息提取分支连接的全局特征增强模块、雨滴层信息提取分支、与雨滴层信息提取分支连接的细节特征增强模块、与全局特征增强模块和细节特征增强模块连接的相减模块、与相减模块连接的解码器;
还包括红外信息提取分支、与红外信息提取分支连接的另一个全局特征增强模块,与全局特征增强模块连接的解码器;其中,与可见光信息提取分支连接的全局特征增强模块以及与红外信息提取分支连接的全局特征增强模块的网络结构相同;
其中,可见光信息提取分支和雨滴层信息提取分支分别用于从暴雨场景下可见光图像的Y通道图像中提取可见光特征以及雨滴层的细节纹理特征,获取具有可见光特征的特征图以及具有雨滴层细节纹理特征的特征图;而后,与可见光信息提取分支连接的全局特征增强模块用于对具有可见光特征的特征图中的全局背景特征进行多尺度和多方向的特征提取,并计算特征图中水平方向权重和垂直方向权重,得到包含方向权重的增强特征图,与雨滴层信息提取分支连接的细节特征增强模块对具有雨滴层细节纹理特征的特征图中的雨滴层边缘信息和细节特征进行提取并增强,并计算特征图中水平方向权重和垂直方向权重,得到包含方向权重且具有丰富雨滴边缘信息和雨滴纹理细节的雨滴层特征图,相减模块用于对所述增强特征图以及所述雨滴层特征图进行相减操作,得到具有雨滴层干扰减少且背景细节信息增强的背景细节特征图;
红外信息提取分支用于对红外图像中的热辐射信息进行提取,得到具有热辐射信息的特征图,与红外信息提取分支连接的另一个全局特征增强模块用于对具有热辐射信息的特征图进行多尺度和多方向的特征提取,并计算特征图中水平方向权重和垂直方向权重,得到包含方向权重且热辐射信息增强的重建红外图像特征图;
S3、构建跨模态互补特征融合网络,利用训练集训练跨模态互补特征融合网络,得到跨模态互补特征融合网络模型;其中,跨模态互补特征融合网络用于对背景细节特征图与重建红外图像特征图实现跨模态互补特征的融合,得到Y通道融合图像;
S4、将红外图像和暴雨场景可见光图像的Y通道图像输入至背景细节增强提取网络模型前向传播一次,得到Y通道图像的背景细节特征图 和重建红外图像特征图 而后,将背景细节特征图 以及重建红外图像特征图 输入到跨模态互补特征融合网络中前向传播一次,得到Y通道融合图像。
3.根据权利要求2所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:步骤S4中,将Y通道融合图像与可见光图像的Cb通道图像和Cr通道图像在通道维度拼接,拼接后将图像转换为RGB格式,得到彩色融合图像。
4.根据权利要求2所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:步骤S3中,跨模态互补特征融合网络包括支路Ⅰ、支路Ⅱ、与支路Ⅰ和支路Ⅱ连接的Concat层以及与Concat层连接的卷积层;其中,支路和支路Ⅱ结构相同,重建红外图像特征图 和背景细节特征图 分别作为支路Ⅰ和支路Ⅱ的输入;支路Ⅰ包括依次连接的线性层、交叉注意力层、Concat层、第一个归一化层、第一个Add层、前馈网络层和第二个归一化层、第二个Add层,线性层的输入端还与第一个Add层的输入端连接,线性层的输出端还连接ReLu层的输入端,ReLu层的输出端连接Concat层的输入端,第一个Add层的输出端还连接第二个Add层;支路Ⅰ中线性层的输出端与支路Ⅱ中交叉注意力层的输入端连接,支路Ⅱ中线性层的输出端与支路Ⅰ中交叉注意力层的输入端连接,支路Ⅰ的第二个Add层输出端和支路Ⅱ的第二个Add层输出端均与和卷积层连接的Concat层连接。
5.根据权利要求2所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:步骤S2中,红外信息提取分支、可见光信息提取分支和雨滴层信息提取分支的网络结构相同,红外信息提取分支、雨滴层信息提取分支以及红外信息提取分支均包括四个依次连接的卷积模块Ⅰ,四个卷积模块Ⅰ均包括依次连接的卷积层和LReLU层;红外信息提取分支、可见光信息提取分支和雨滴层信息提取分支的权重参数不同,这是由于红外信息提取分支、可见光信息提取分支、雨滴层特征提取分支利用训练集进行训练时,权重参数不共享,红外信息提取分支、可见光信息提取分支、雨滴层特征提取分支进行训练时,分别能够自主学习到不同的权重参数。
6.根据权利要求2所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:步骤S2中,全局特征增强模块包括两个平均池化层,两个平均池化层与Concat层连接,Concat层分别连接卷积层和全局特征增强单元,卷积层和全局特征增强单元均与Add层连接,Add层依次连接归一化层和Swish层,Swish层分别连接第一分支和第二分支,第一分支和第二分支的结构相同,其中,第一分支中包括与Swish层连接的卷积层和全局特征增强单元,卷积层和全局特征增强单元还均与Add层连接,Add层连接Sigmoid层,第一分支的Sigmoid层和第二分支的Sigmoid层以及全局特征增强模块的输入端均与逐元素相乘单元连接。
7.根据权利要求6所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:步骤S2中,全局特征增强单元包括三个不同尺度的平均池化层,三个不同尺度的平均池化层分别为1×1平均池化层、2×2平均池化层和3×3平均池化层,三个平均池化层均与连接层连接,连接层连接卷积层,卷积层连接ReLU层。
8.根据权利要求2所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:步骤S2中,细节特征增强模块的网络结构与全局特征增强模块的网络结构区别之处在于:细节特征增强模块中使用最大池化层替换全局特征增强模块中的平均池化层,细节特征增强模块中使用细节感知纹理增强单元替换全局特征增强模块中的全局特征增强单元。
9.根据权利要求2所述的一种基于雨滴层干扰减少且背景细节信息增强的图像融合方法,其特征在于:步骤S2中,细节感知纹理增强单元包括依次连接的 Scharr算子、最大池化层和卷积层。