利索能及
我要发布
收藏
专利号: 2024106341944
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于降噪和互补信息增强的图像融合方法,其特征在于:包括以下步骤:

S1、构建图像降噪及融合网络,图像降噪及融合网络包括两个降噪及特征提取子网络以及与两个降噪及特征提取子网络连接的图像融合网络;两个降噪及特征提取子网络分别为红外降噪及特征提取子网络以及可见光降噪及特征提取子网络,红外降噪及特征提取子网络以及可见光降噪及特征提取子网络分别用于对输入的带噪红外图像  和带噪灰度可见光图像 进行特征提取和降噪处理;图像融合网络用于对两个降噪及特征提取子网络输出的特征图进行特征融合,并从通道维度和空间维度方面突出重点区域的特征,得到降噪后的融合图像;

S2、构建红外降噪及特征提取子网络的损失 、可见光降噪及特征提取子网络的损失 以及图像融合网络的损失Lf;

S3、基于 、 以及Lf分别训练红外降噪及特征提取子网络、可见光降噪及特征提取子网络以及图像融合网络,得到图像降噪及融合网络模型;

S4、将红外图像和灰度可见光图像输入至图像降噪及融合网络模型中,前向传播一次,得到降噪后的图像融合结果,其中,灰度可见光图像为Y通道图像;

步骤S1中,降噪及特征提取子网络包括依次连接的变形提取模块、第一个堆叠卷积提取模块、第二个堆叠卷积提取模块、扩展提取模块以及卷积核大小为3×3卷积层;降噪及特征提取子网络中的变形提取模块用于对特征图中不规则几何形状目标的特征进行自适应提取,并对特征图中局部细节特征进行提取,同时进行初步降噪;第一个堆叠卷积提取模块用于对特征图中的局部细节特征和语义特征进行提取和增强,同时进行降噪;第二个堆叠卷积提取模块用于对特征图中的全局特征进行特征提取,同时进行降噪;扩展提取模块用于对特征图中的上下文信息以及全局特征进行提取,并进行降噪;与扩展提取模块的输出端连接的卷积层,则用于对扩展提取模块输出的特征图进行降维操作,生成一个与源图像大小相同的降噪后的图像;

步骤S1中,图像融合网络包括四个融合单元RAFM、一个Concat层、两个卷积核大小为3×3的卷积层以及一个Tanh激活层;其中,两个变形提取模块均与第一个融合单元RAFM连接,两个第一个堆叠卷积提取模块均与第二个融合单元RAFM连接,两个第二个堆叠卷积提取模块均与第三个融合单元RAFM连接,两个扩展提取模块均与第四个融合单元RAFM连接,四个融合单元RAFM均与Concat层连接,Concat层依次连接两个卷积层和Tanh激活层;其中,四个融合单元RAFM均用于对特征图进行特征融合,并从通道维度和空间维度突出重点区域的特征,Concat层用于对四个融合单元RAFM输出的融合特征图进行拼接,得到具有不同尺度信息的从通道维度和空间维度方面突出重点区域的特征的降噪效果更佳的融合特征图,两个卷积层均用于特征图进行降维操作,而Tanh激活层则用于对输入的特征图增加非线性操作,得到降噪后的融合图像If;

步骤S1中,融合单元RAFM包括依次连接的增强模块RM、通道注意力模块CM、空间注意力模块SM以及Add层;其中增强模块RM用于增强输入特征图中的互补信息,通道注意力模块CM用于对特征图从通道维度方面突出特征图中的重点区域;空间注意力模块SM用于对特征图从空间维度方面突出特征图中的重点区域;Add层用于将空间注意力模块SM输出的特征图进行逐像素相加,得到具有通道维度和空间维度上信息均增强的融合特征图。

2.根据权利要求1所述的基于降噪和互补信息增强的图像融合方法,其特征在于:步骤S1中,变形提取模块的结构,包括依次连接的可变形卷积模块以及三个普通卷积模块;可变形卷积模块包括依次连接的可变形卷积层以及ReLU激活层;普通卷积模块包括依次连接的卷积核大小为3×3的卷积层、批量归一化层以及ReLU激活层;其中,变形提取模块中可变形卷积模块用于对输入的特征图中不规则几何形状目标的特征进行自适应提取,输出具有丰富边缘特征的特征图;三个普通卷积模块的结构相同,功能也相同,均用于对特征图中局部细节特征进行提取,同时进行初步降噪。

3.根据权利要求1所述的基于降噪和互补信息增强的图像融合方法,其特征在于:步骤S1中,堆叠卷积提取模块包括四个依次连接的普通卷积模块,堆叠卷积提取模块中的普通卷积模块结构与变形提取模块中的普通卷积模块结构相同;其中,其中第一个堆叠卷积提取模块中的第一个普通卷积模块至第四个普通卷积模块用于对特征图中的局部细节特征和语义特征进行提取和增强,同时进行降噪;其中第二个堆叠卷积提取模块中的第一个普通卷积模块至第四个普通卷积模块用于对特征图中的全局特征进行特征提取,同时进行降噪。

4.根据权利要求1所述的基于降噪和互补信息增强的图像融合方法,其特征在于:步骤S1中,扩展提取模块包括依次连接的扩展卷积模块以及三个普通卷积模块;扩展卷积模块包括依次连接的空洞卷积层、批量归一化层以及ReLU激活层;其中,空洞卷积层对特征图进行扩大感受野,同时保持特征图的分辨率,批量归一化层用于对空洞卷积层输出的特征图进行批量归一化操作,Relu激活层用于对批量归一化层输出的特征图进行Relu激活操作;

而扩展提取模块中第一个普通卷积模块至第三个普通卷积模块用于对特征图中的全局特征进行提取,并进行降噪。

5.根据权利要求1所述的基于降噪和互补信息增强的图像融合方法,其特征在于:步骤S1中,增强模块RM包括依次连接的Concat层、平均池化层、卷积核大小为3×3的卷积层以及Sigmoid激活层,第一个融合单元RAFM中的增强模块RM中Concat层的输入端与两个降噪及特征提取子网络中变形提取模块的输出端连接,Sigmoid激活层的输出端还分别连接两个矩阵逐元素相乘操作单元的输入端,第一个矩阵逐元素相乘操作单元的输入端与可见光降噪及特征提取子网络中变形提取模块的输出端连接,第二个矩阵逐元素相乘操作单元的输入端与红外降噪及特征提取子网络中变形提取模块的输出端连接,第一个矩阵逐元素相乘操作单元的输出端以及红外降噪及特征提取子网络中变形提取模块的输出端均与第二个Add层,第二个矩阵逐元素相乘操作单元以及可见光降噪及特征提取子网络中变形提取模块的输出端均与第一个Add层连接。

6.根据权利要求1所述的基于降噪和互补信息增强的图像融合方法,其特征在于:所述通道注意力模块CM包括Concat层,Concat层的输入端与增强模块RM的两个Add层的输出端连接,Concat层的输出端分别连接最大池化层和平均池化层,最大池化层和最大池化层分别连接卷积核大小为1×1的卷积层,两个卷积核大小为1×1的卷积层均与Add层连接,Add层连接Sigmoid激活层,Sigmoid激活层分别连接第一个矩阵逐元素相乘操作单元和权重调整模块,所述权重调整模块连接第二个矩阵逐元素相乘操作单元,其中,第一个矩阵逐元素相乘操作单元的输入端还与增强模块RM中第一个Add层的输出端相连接,通道注意力模块CM中第二个矩阵逐元素相乘操作单元的输入端还与增强模块RM中第二个Add层的输出端相连接;通道注意力模块CM中的权重调整模块用于对Sigmoid激活层输出的权重Wc进行1‑Wc计算操作。

7.根据权利要求1所述的基于降噪和互补信息增强的图像融合方法,其特征在于:步骤S1中,所述空间注意力模块SM包括Concat层,Concat层的输入端与空间注意力模块SM的两个矩阵逐元素相乘操作单元的输出端连接,Concat层的输出端分别连接最大池化层和平均池化层,最大池化层和最大池化层的输出端均与另一个Concat层相连接,与最大池化层和最大池化层输出端连接的Concat层还依次连接卷积核大小为7×7的卷积层以及Sigmoid激活层,Sigmoid激活层分别连接空间注意力模块SM中的第一个矩阵逐元素相乘操作单元和权重调整模块,所述权重调整模块连接空间注意力模块SM中的第二个矩阵逐元素相乘操作单元,空间注意力模块SM中第一个矩阵逐元素相乘操作单元的输入端还与通道注意力模块CM中第一个矩阵逐元素相乘操作单元的输出端相连接,空间注意力模块SM中第二个矩阵逐元素相乘操作单元的输入端还与通道注意力模块CM中第二个矩阵逐元素相乘操作单元的输出端相连接;空间注意力模块SM中第一个矩阵逐元素相乘操作单元和第二个矩阵逐元素相乘操作单元的输出端还均与Add层连接;通道注意力模块SM中的权重调整模块用于对Sigmoid激活层输出的权重Wp进行1‑Wp计算操作。