利索能及
我要发布
收藏
专利号: 2022114050797
申请人: 江苏海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于:包括按如下步骤1至步骤3完成红外与可见光图像融合:步骤1:差分图像的计算与预处理,将红外图像 与可见光图像 分别作差值计算并进行归一化处理,得到差分图像 与 ;

步骤2:将源图像和差分图像作为输入对网络模型进行训练,训练过程由步骤2‑1至步骤2‑4组成:步骤2‑1:将红外图像 与差分图像 联结,可见光图像 与差分图像 联结,作为步骤2‑2中生成器 中不同的编码器的输入;

步骤2‑2:生成器 将步骤2‑1中的数据进行特征提取和融合,然后根据融合的特征重构出融合图像 ;

步骤2‑3:将融合图像 分别与红外图像 、可见光图像 及差分图像 、 输入到判别器 , , 与 中,与生成器 建立对抗训练;

步骤2‑4:循环步骤2‑1至步骤2‑3进行迭代训练,当对抗训练趋于平衡,即判别器无法辨别出输入的样本是来自于生成器生成的图像还是真实图像时,终止训练,从而得到融合所需的生成器 ;

迭代训练时,需要采用损失函数评估模型预测差异性,其损失函数由生成器损失函数和判别器损失函数构成,其中生成器损失函数 主要由对抗损失 与内容损失 两部分组成,用于反馈生成器网络训练损失;四个判别器采用相似的损失函数 ,将判别器对输入结果的判断反馈给生成器,与生成器建立起对抗训练,其具体计算公式如下:;

其中 为权重参数, 、 、 和 分别对应四个判别器 , ,与 ;

具体地,所述对抗损失 主要用于约束生成器的优化方向,其公式定义为:;

其中 为期望, 为判别器对输入图像分类概率;

具体地,所述内容损失 通过比较融合图像与输入图像的差异,引导生成器生成同时保留红外图像热辐射信息和可见光图像纹理信息的融合结果,其公式定义为:;

其中 、 、 为权重参数, 为强度损失, 为梯度损失, 为结构相似度损失;

步骤3:使用训练好的生成器 生成融合图像,具体地,将红外、可见光图像分别与两种差分图像进行联结,一并输入到步骤2中训练好的生成器中,得到最终的融合结果。

2.根据权利要求1所述基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于:所述步骤1中差分图像计算的具体步骤为:步骤1‑1:使用红外图像 减去可见光图像 ,得到可强调热辐射强度的红外差分图像 ;

步骤1‑2:使用可见光图像 减去红外图像 ,得到可突出纹理细节的可见光差分图像 。

3.根据权利要求1所述基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于:所述步骤1差分图像的预处理中的归一化处理,使像素灰度值控制在0 1之间,具~体如下式:

其中 为差分图像在 处像素的灰度值, 与 分别为差分图像中灰度最小值与最大值。

4.根据权利要求1所述基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于:所述步骤2‑2中生成器网络 采用双编码器‑单解码器结构。

5.根据权利要求1所述基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于:所述步骤2‑3中四个判别器采用相同的网络结构,依次包括五层卷积神经网络,其中在前四层中使用尺寸为 的卷积核且步长设置为2;在第二层至第四层中,加入批归一化层;在最后一层中,首先使用全连接层将卷积层提取的特征整合,然后使用Tanh激活函数计算出标量。

6.根据权利要求1所述基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于: , ,和 分别定义如下:;

其中 为权重参数,H, W为输入图像的尺寸, 为源图像强度损失, 为差分图像强度损失, 为源图像梯度损失, 为差分图像梯度损失, 为源图像结构相似度损失, 为差分图像结构相似度损失, 为两幅图像间的相似度;

, , , , ,和 的定义分别如下:

 ;

具体地,所述各判别器的损失函数的具体公式定义为:;

其中,判别器 与 的输入图像为源图像 与 或融合图像 ,判别器 与的输入图像为差分图像 与 或融合图像 。

7.根据权利要求4所述基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于:所述双编码器‑单解码器结构中,双编码器结构包含两路分支,分别用于提取红外热辐射强度与可见光纹理两种特征,每个支路均由四层卷积层构成,采用DenseNet结构进行密集连接,具体而言,第一层网络由尺寸为 的卷积核、可切换归一化层与激活函数Leaky ReLU构成;后三层增加了卷积块注意力模块,所有卷积层中通道数均设置为64,卷积核步长均设置为1;需指出的是,引入卷积块注意力模块用于提升特征提取能力,其主要由步骤A至步骤F构成:步骤A:特征图首先输入到通道注意力模块中,基于输入特征图的宽与高进行全局最大池化与全局平均池化,得到两个特征图;

步骤B:将两个特征图分别输入到参数共享的多层感知机中生成各自的通道注意力特征图,然后经逐元素求和与Sigmoid激活函数运算,得到最终的通道注意力特征图;

步骤C:将原始输入特征与通道注意力特征图按元素相乘,其结果输入到空间注意力模块中;

步骤D:对输入到空间注意力模块中的特征图的通道维度进行最大池化与全局平均池化,得到两个特征图;

步骤E:基于通道维度将它们联结起来并通过卷积层进行卷积,再经Sigmoid激活函数运算生成空间注意力图;

步骤F:将空间注意力模块的输入向量与空间注意力图按元素相乘,得到最终的输出特征。

8.根据权利要求4所述基于多判别器生成对抗网络的红外与可见光图像融合方法,其特征在于:所述双编码器‑单解码器结构中,单解码器网络结构由两个卷积层构成,其中,第一层卷积层由尺寸为 的卷积核,可切换归一化层与激活函数Leaky ReLU构成,第二层由 卷积核与Tanh激活函数构成。