利索能及
我要发布
收藏
专利号: 2024105082849
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于显著特征提取和残差连接的图像融合方法,其特征在于:包括如下步骤:

步骤S1、构建图像融合神经网络;所述图像融合神经网络包括融合图像生成网络以及与融合图像生成网络连接的融合图像判别网络;其中,融合图像生成网络用于获取初步融合图像,所述融合图像判别网络用于判别初步融合图像与原始可见光图像和原始红外图像之间的差异;

所述融合图像生成网络包括依次连接的通道拼接层、前期处理模块、第一个重点特征提取模块、第一个深层特征提取模块、第二个深层特征提取模块、第二个重点特征提取模块以及卷积块;其中,通道拼接层的通道维度为一维,通道拼接层用于在通道维度中将输入至融合图像生成网络的原始可见光图像和原始红外图像进行拼接,得到信息更加全面的双通道图像;前期处理模块用于对通道拼接层输出的双通道图像中的浅层特征进行提取,得到具有浅层特征的特征图;第一个重点特征提取模块用于对前期处理模块输出的特征图中的显著特征进行提取并突出,得到具有突出显著特征的特征图,该突出显著特征的特征图具有丰富的重点信息;第一个深层特征提取模块用于对第一个重点特征提取模块输出的特征图中的深层特征进行提取,得到具有深层特征的特征图,该深层特征的特征图中包含了丰富的全局信息;第二个深层特征提取模块用于对第一个深层特征提取模块输出的特征图中的深层特征进行提取,得到具有深层特征的特征图,该深层特征的特征图中包含了丰富的全局信息;第二个重点特征提取模块用于对第二个深层特征提取模块输出的特征图中的显著特征进行提取并突出,得到具有突出显著特征的特征图,该突出显著特征的特征图具有丰富的重点信息;卷积块用于对第二个重点特征提取模块输出的特征图降低维度,输出具有全局信息和重点信息的特征图;

步骤S2、构建图像融合神经网络的损失;其中,图像融合神经网络的损失包括融合图像生成网络的损失以及融合图像判别网络的损失;所述融合图像生成网络的损失包括像素损失LP、梯度损失LG、结构损失LScore_SSIM;所述融合图像判别网络的损失包括Discriminator _VIS鉴别器的损失和Discriminator_IR鉴别器的损失;

步骤S3、在融合图像生成网络的损失以及Discriminator_VIS鉴别器的损失和Discriminator_IR鉴别器的损失的引导下,训练融合图像生成网络,得到融合图像生成网络模型;

步骤S4、将红外图像和可见光图像输入至步骤S3中得到的融合图像生成网络模型中,前向传播一次,输出图像融合结果。

2.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

所述卷积块包括一个卷积核大小为1×1的卷积层以及与其连接的Tanh激活层。

3.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

所述前期处理模块包括依次连接的卷积核大小为5×5的卷积层、批量归一化层以及ReLU激活层;该卷积核大小为5×5的卷积层用于对前期处理模块输出的特征图进行卷积操作,输出具有浅层特征的特征图,批量归一化层用于对输入其中的特征图进行批量归一化操作,输出具有浅层特征的特征图,而ReLU激活层用于对批量归一化层输出的具有浅层特征的特征图进行ReLU激活操作。

4.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

所述重点特征提取模块包括残差块、通道注意力块、空间注意力块、矩阵逐元素相乘操作单元、Concat层以及ReLU激活层;其中,残差块分别连接通道注意力块和空间注意力块,通道注意力块和空间注意力块分别连接矩阵逐元素相乘操作单元,残差块还分别连接两个矩阵逐元素相乘操作单元,两个矩阵逐元素相乘操作单元的输出端以及残差块的输入端均与Concat层的输入端连接,Concat层与ReLU激活层连接。

5.根据权利要求4所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

所述残差块包括依次连接的卷积层、批量归一化层、ReLU激活层、卷积层和批量归一化层,其中,残差块中的两个卷积层的卷积核大小均为3×3;所述残差块用于对输入重点特征提取模块的特征图提取基础特征,得到具有基础特征的特征图。

6.根据权利要求4所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

所述通道注意力块包括依次连接的全局最大池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层;全局最大池化层用于对输入其中的特征图进行全局最大池化操作来获取每个通道的全局信息,全连接层用于对输入其中的特征图进行非线性变换,ReLU激活层用于对输入其中的特征图进行ReLU激活操作,另一个全连接层用于对输入其中的特征图进行非线性变换,Sigmoid激活层用于对输入其中的特征图生成通道注意力权重参数,并将这些通道注意力权重参数输入至特征图的通道中用于加权,以突出重要的通道特征并抑制不重要的通道特征,其中,所述重要的通道特征即为通道层面显著特征。

7.根据权利要求4所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

所述空间注意力块包括依次连接的卷积层、ReLU激活层、卷积层和Sigmoid激活层,其中,空间注意力块中的两个卷积层的卷积核大小均为3×3;所述空间注意力块中两个的卷积层均用于提取特征图中的空间信息,ReLU激活层用于对输入其中的特征图进行ReLU激活操作,Sigmoid激活层用于对输入其中的特征图进行生成空间注意力权重参数,并将这些空间注意力权重参数输入特征图的空间位置用于加权,以强调特征图中包含有空间层面显著特征的重要区域。

8.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

所述深层特征提取模块采用的是现有的STM模块,所述深层特征提取模块的功能也与上述现有的STM模块相同。

9.根据权利要求1所述的基于显著特征提取和残差连接的图像融合方法,其特征在于:

步骤S3具体包括如下步骤:将KAIST数据集中配对的红外图像和可见光图像输入至图像融合神经网络中,并在计算得到的融合图像生成网络的损失以及Discriminator_VIS鉴别器的损失和Discriminator_IR鉴别器的损失的引导下进行反向传播,更新融合图像生成网络的权重参数,直到融合图像生成网络的损失、Discriminator_VIS鉴别器的损失和Discriminator_IR鉴别器的损失的引导均收敛,图像融合过程结束,得到训练好的图像融合神经网络模型。