利索能及
我要发布
收藏
专利号: 2022106031296
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗式双通道权重分配的图像融合方法,其特征在于,包括:

构建初始图像融合模型,所述初始图像融合模型包括生成器模块和孪生鉴别器模块,所述生成器模块包括伪孪生特征提取模块和特征融合模块;

获取红外图像样本和可见光图像样本,并基于所述伪孪生特征提取模块分别提取所述红外图像样本和所述可见光图像样本的特征,对应获得红外特征图和可见光特征图;

基于所述特征融合模块将所述红外特征图和所述可见光特征图进行融合,生成融合特征图;

基于所述孪生鉴别模块分别获得所述红外图像样本与所述融合特征图的第一相似度以及所述可见光图像样本与所述融合特征图的第二相似度;

基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练,获得训练完备的目标图像融合模型;

基于所述目标图像融合模型对待融合红外图像和待融合可见光图像进行融合,获得目标融合图像。

2.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练,获得训练完备的目标图像融合模型,包括:判断所述第一相似度和所述第二相似度的差值是否小于预设差值;

当所述第一相似度和所述第二相似度的差值小于所述预设差值时,所述初始图像融合模型为所述目标图像融合模型;

当所述第一相似度和所述第二相似度的差值大于或等于所述预设差值时,基于预设的损失函数、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型继续进行训练。

3.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述伪孪生特征提取模块包括红外特征提取单元和可见光特征提取单元,所述红外特征提取单元和所述可见光特征提取单元均包括一个第一特征提取卷积单元以及四个第二特征提取卷积单元,所述第一特征提取卷积单元的包括均包括卷积核为5×5的第一卷积层和第一leaky ReLU激活层,所述第二特征提取卷积单元包括卷积核为3×3的第二卷积层、批量归一化层和第二leaky ReLU激活层。

4.根据权利要求3所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述特征融合模块包括第一融合卷积单元、第二融合卷积单元、第三融合卷积单元、跨连接卷积层以及融合目标融合leakyReLU激活层,所述第一融合卷积单元包括卷积核为1×

1的第一融合卷积层和第一融合leakyReLU激活层,所述第二融合卷积单元包括卷积核为3×3的第二融合卷积层和第二融合leakyReLU激活层,所述第三融合卷积单元包括卷积核为

1×1的第三融合卷积层和第三融合Tanh激活层,所述跨连接卷积层的卷积核为1×1。

5.根据权利要求4所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述孪生鉴别模块包括红外孪生鉴别单元和可见光孪生鉴别单元,所述红外孪生鉴别单元用于确定所述红外图像样本与所述融合特征图的第一相似度,所述可见光孪生鉴别单元用于确定所述可见光图像样本与所述融合特征图的第二相似度。

6.根据权利要求5所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述第一相似度为:所述第二相似度为:

式中,S1(If,Iir)为第一相似度;S2(If,Ivi)为第二相似度;If为融合特征图;Iir为红外图像样本;Ivi为可见光图像样本;P为红外图像样本或可见光图像样本的特征维数; 为融合特征图的第i维特征; 为红外图像样本的第i维特征; 为可见光图像样本的第i维特征;

|| ||2为二范数。

7.根据权利要求6所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述损失函数包括特征提取损失函数,所述特征提取损失函数为:式中,L(W)为特征提取损失函数;ωir为红外特征提取单元的权重系数;ωvi为可见光特征提取单元的权重系数; 为第k个可见光图像样本和第k个红外图像样本是否匹配的标签; 为第k个红外特征图和第k个可见光特征图之间的欧式距离;m为输入不同类别之间的间距阈值。

8.根据权利要求7所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述损失函数包括生成器损失函数,所述生成器损失函数为:LG=β(LGir+LGvi)+LGadv

式中,LG为生成器损失函数;LGir为红外图像的内容损失;LGvi为可见光图像的内容损失;

LGadv为生成器模块和孪生鉴别器模块之间的对抗损失;β为正则化参数;H为红外图像样本和可见光图像样本的高度;W为红外图像样本和可见光图像样本的宽度;|| ||F为Frobenius范数; 为梯度运算符;α1为第一正参数;α2为第二正参数;N为融合图像的总个数; 为红外孪生鉴别单元对第n个融合图像的分类结果, 为可见光孪生鉴别单元对第n个融合图像的分类结果;c为生成器模块希望孪生鉴别器相信的虚假数据值。

9.根据权利要求8所述的基于生成对抗式双通道权重分配的图像融合方法,其特征在于,所述损失函数还包括鉴别器损失函数,所述鉴别器损失函数为:LD=LDvi+LDir

式中,LD为鉴别器损失函数;LDvi为可见光图像判决损失;LDir为红外图像判决损失;

为红外孪生鉴别单元对第n个红外图像样本的判决结果; 为红外孪生鉴别单元对第n个融合图像的判决结果; 为可见光孪生鉴别单元对第n个可见光图像样本的判决结果; 为可见光孪生鉴别单元对第n个融合图像的判决结果;p1为第一概率标签;p2为第二概率标签;b1为第三概率标签;b2为第四概率标签。

10.一种基于生成对抗式双通道权重分配的图像融合装置,其特征在于,包括:

初始模型构建模块,用于构建初始图像融合模型,所述初始图像融合模型包括生成器模块和孪生鉴别器模块,所述生成器模块包括伪孪生特征提取模块和特征融合模块;

特征提取模块,用于获取红外图像样本和可见光图像样本,并基于所述伪孪生特征提取模块分别提取所述红外图像样本和所述可见光图像样本的特征,对应获得红外特征图和可见光特征图;

特征融合模块,用于基于所述特征融合模块将所述红外特征图和所述可见光特征图进行融合,生成融合特征图;

鉴别模块,用于基于所述孪生鉴别模块分别获得所述红外图像样本与所述融合特征图的第一相似度以及所述可见光图像样本与所述融合特征图的第二相似度;

模型训练模块,用于基于预设的损失函数、所述第一相似度、所述第二相似度、所述红外图像样本和所述可见光图像样本对所述初始图像融合模型进行训练,获得训练完备的目标图像融合模型;

图像融合模块,用于基于所述目标图像融合模型对待融合红外图像和待融合可见光图像进行融合,获得目标融合图像。