利索能及
我要发布
收藏
专利号: 2024110613852
申请人: 广东海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种联合高级视觉任务的红外与可见光图像融合方法,其特征在于,包括如下步骤:S1、构建包括教师网络和学生网络的图像融合网络;

S2、利用对抗生成网络的训练方法对所构建的图像融合网络进行优化训练, 包括如下步骤:S21、利用图像融合网络接收真实的红外图像和真实的可见光图像的输入,生成初步融合图像;

S22、将真实的红外图像、真实的可见光图像的输入以及S21生成的初步融合图像分别输入到两个判别器中区分输入图像的真实性;

S23、利用判别器对抗损失函数优化两个判别器的分类能力,判别器对抗损失函数表示为:;

;

式中, 为第一判别器对抗损失函数, 为真实红外图像输入第一判别器的输出结果,为输入第一判别器的真实红外图像, 为初步融合图像输入第一判别器的输出结果, 为输入第一判别器的初步融合图像; 为第二判别器对抗损失函数,为真实可见光输入第二判别器的输出结果, 为输入第二判别器的真实可见光图像, 为初步融合图像输入第二判别器的输出结果, 为输入第二判别器的初步融合图像;为特征向量长度,N为输入图像数量,常数1表示希望判别器相信融合图像为真实图像;

S24、基于S23判别器对抗损失函数指导教师网络和学生网络进行训练,具体方式为:;

式中, 为融合损失函数; 为像素强度损失函数; 为纹理损失函数,为纹理损失函数权重; 为图像融合对抗损失函数,为图像融合对抗损失函数权重;其中:;

式中,m为训练批次大小,max()为相同位置元素最大化操作,If、Iir和Ivis依次为融合图像、输入的红外图像和输入的可见光图像,为求和计数;

;

式中,为Sobel梯度算子;

;

式中, 为初步融合图像输入第一判别器的输出结果, 为初步融合图像输入第二判别器的输出结果, 为平衡参数,N为输入图像数量,常数1表示希望判别器相信融合图像为真实图像;

S3、将实时语义分割模型引入优化训练后的图像融合网络中,对图像融合网络的输出图像进行分割并辅助图像融合网络学习保留融合图像的语义信息;

S4、计算所得到的语义信息的分割损失函数,利用所得到的语义信息的分割损失函数生成联合损失函数指导图像融合网络的训练和优化;

S5、利用S4训练和优化后的图像融合网络进行红外与可见光图像融合,生成包含语义信息的融合图像。

2.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法,其特征在于,所述S1具体包括如下步骤:S11、构建教师网络,包括用于对输入的红外和可见光进行特征提取的残差模块、用于增强不同尺度特征感知度的多尺度通道注意力模块以及用于将红外和可见光图像的特征进行融合的通过融合层;

S12、对所构建的教师网络进行压缩,通过最小化知识蒸馏损失函数将教师网络的知识转移压缩后的教师网络中,完成学生网络构建。

3.根据权利要求2所述的联合高级视觉任务的红外与可见光图像融合方法,其特征在于,所述S12中最小化知识蒸馏损失函数表示为:;

式中, 为最小化知识蒸馏损失函数, 为教师网络第b层特征 嵌入到空间域的投影函数, 为学生网络第b层特征 嵌入到与教师网络相同空间域的投影函数,为特征向量长度,为求和计数, 为范数计算。

4.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法,其特征在于,所述S4中分割损失函数表示为:;

式中, 为分割损失函数; 为语义损失, 为语义损失对应参数; 为加权二元交叉熵损失, 为加权二元交叉熵损失对应参数; 为交叉熵损失, 为交叉熵损失对应参数;为边界感知交叉熵损失, 为边界感知交叉熵损失对应参数。

5.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法,其特征在于,所述S4中联合损失函数表示为:;

式中, 为联合损失函数, 为融合损失函数,为融合损失函数的权重, 为分割损失函数。

6.根据权利要求1所述的联合高级视觉任务的红外与可见光图像融合方法,其特征在于,所述S4中生成联合损失函数指导图像融合网络的训练和优化的具体方式为:S41、输入红外图像和可见光图像对,并初始化主循环迭代次数P和子循环迭代次数p,q,j;

S42、进行p次迭代训练,利用包含纹理损失的像素强度损失函数训练教师网络和学生网络,通过Adam优化器更新教师网络和学生网络的参数,同时根据最小化知识蒸馏损失函数将教师网络的知识参数传递至学生网络;

S43、进行q次迭代训练,利用判别器对抗损失函数更新判别器的参数,并通过融合损失函数对学生网络参数进行更新;

S44、进行j次迭代训练,分别从判别器中判别为真的融合图像中选择多幅图像,利用SGD优化器更新实时语义分割模型的参数,并提取融合图像中的语义信息;

S45、重复步骤S41‑S44直至完成所有P次总迭代。