利索能及
我要发布
收藏
专利号: 2025115501877
申请人: 佛山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种掩膜引导的图像恢复与融合模型,其特征在于,包括第一输入层、第二输入层、两个编码器、多个串联的掩膜引导特征提取模块、第一HTB模块、两个第一残差模块和输出层;

所述第一输入层和所述第二输入层分别用于接收红外源图像和可见光源图像,并分别输入两个所述编码器进行特征编码得到初步红外特征和初步可见光特征,所述初步红外特征和初步可见光特征相加得到初步融合特征,所述初步红外特征、所述初步可见光特征和所述初步融合特征输入首个所述掩膜引导特征提取模块;

各所述掩膜引导特征提取模块用于根据输入自身的输入红外特征、输入可见光特征和输入融合特征生成掩膜,并在所述掩膜的引导下对所述输入红外特征、所述输入可见光特征和所述输入融合特征进行交叉注意力计算,得到并输出优化的输出红外特征、输出可见光特征和输出融合特征;

最后一个所述掩膜引导特征提取模块输出的所述输出红外特征和所述输出可见光特征分别输入两个所述第一残差模块,最后一个所述掩膜引导特征提取模块输出的所述输出融合特征输入所述第一HTB模块;

两个所述第一残差模块和所述第一HTB模块分别通过所述输出层输出最终红外特征、最终可见光特征和最终融合特征。

2.根据权利要求1所述的掩膜引导的图像恢复与融合模型,其特征在于,所述编码器包括前后连接的第一卷积层和第三残差模块。

3.根据权利要求1所述的掩膜引导的图像恢复与融合模型,其特征在于,所述掩膜引导特征提取模块包括两个第二残差模块、第二HTB模块、掩膜生成模块和掩膜引导的跨模态交叉注意力模块;所述第二残差模块、所述第二HTB模块、所述掩膜生成模块均与所述掩膜引导的跨模态交叉注意力模块连接;

两个所述第二残差模块分别用于对所述输入红外特征和所述输入可见光特征进行特征提取得到优化红外特征和优化可见光特征,所述第二HTB模块用于对所述输入融合特征进行特征优化得到优化融合特征;

所述掩膜生成模块用于利用所述输入红外特征、所述输入可见光特征和所述输入融合特征生成掩膜;

所述掩膜引导的跨模态交叉注意力模块用于在所述掩膜的引导下对所述优化红外特征、所述优化可见光特征和所述优化融合特征进行交叉注意力计算,得到并输出优化的输出红外特征、输出可见光特征和输出融合特征。

4.根据权利要求3所述的掩膜引导的图像恢复与融合模型,其特征在于,所述掩膜生成模块包括第一运算模块以及依次串联的sigmoid激活函数层、第四残差模块、ReLU激活函数层和第五残差模块;

所述第一运算模块用于利用所述输入红外特征、所述输入可见光特征和所述输入融合特征计算得到初步的掩膜,并把所述初步的掩膜输入所述sigmoid激活函数层;所述初步的掩膜与所述第五残差模块的输出相加后得到最终的所述掩膜。

5.根据权利要求4所述的掩膜引导的图像恢复与融合模型,其特征在于,所述第一运算模块通过执行以下运算,生成所述初步的掩膜:;

其中,M_1为所述初步的掩膜,F为所述输入融合特征,IR为所述输入红外特征,VI为所述输入可见光特征,ε为误差参数。

6.根据权利要求3所述的掩膜引导的图像恢复与融合模型,其特征在于,所述掩膜引导的跨模态交叉注意力模块包括第一深度可分离卷积层、第二深度可分离卷积层、第三深度可分离卷积层、加权运算模块和交叉注意力模块;

所述第一深度可分离卷积层、所述第二深度可分离卷积层、所述第三深度可分离卷积层分别用于对所述优化红外特征、所述优化可见光特征和所述优化融合特征进行卷积处理,得到卷积后红外特征、卷积后可见光特征和卷积后融合特征;

所述加权运算模块用于利用所述掩膜对所述卷积后红外特征和所述卷积后可见光特征进行加权处理,得到加权红外特征和加权可见光特征;

所述交叉注意力模块用于以所述加权红外特征和所述加权可见光特征为查询,以所述卷积后融合特征为键和值,进行交叉注意力计算,得到并输出优化的输出红外特征、输出可见光特征和输出融合特征。

7.根据权利要求6所述的掩膜引导的图像恢复与融合模型,其特征在于,所述加权运算模块通过执行以下运算,实现对所述卷积后红外特征和所述卷积后可见光特征进行加权处理:;

其中,VI_2为所述加权可见光特征,VI_1为所述卷积后可见光特征,M为所述掩膜,IR_2为所述加权红外特征,IR_1为所述卷积后红外特征。

8.一种如权利要求1‑7任一项所述的掩膜引导的图像恢复与融合模型的训练方法,其特征在于,包括步骤:A1.获取图像数据集;所述图像数据集包括多个图像组,每个图像组包括相互配准的退化红外源图像和退化可见光源图像,以及对应的干净红外源图像和干净可见光源图像;

A2.以所述图像数据集中的所述退化红外源图像和所述退化可见光源图像作为模型输入,利用对应的干净红外源图像和干净可见光源图像以及预设的图像复原网络生成参考数据,基于总损失函数,对所述掩膜引导的图像恢复与融合模型进行训练,得到训练后的掩膜引导的图像恢复与融合模型。

9.根据权利要求8所述的训练方法,其特征在于,步骤A2包括:A201.从所述图像数据集中选取一个图像组,把该图像组的所述退化红外源图像和所述退化可见光源图像输入所述掩膜引导的图像恢复与融合模型,得到所述掩膜引导的图像恢复与融合模型输出的最终红外特征、最终可见光特征和最终融合特征;

A202.利用选取的图像组的所述干净红外源图像和所述干净可见光源图像,基于以下公式计算参考红外特征和参考可见光特征:;

其中, 为所述参考可见光特征, 为所述参考红外特征, 为所述干净可见光源图像, 为所述干净红外源图像, 为参考掩膜, 为对 和 进行融合得到的参考融合特征,ε为误差参数;

A203.根据所述最终红外特征、所述最终可见光特征、所述参考红外特征和所述参考可见光特征,基于以下公式计算掩膜引导学习策略损失:;

其中, 为所述掩膜引导学习策略损失,H、W分别为源图像的像素长度和像素宽度,为所述最终可见光特征, 为所述最终红外特征, 表示1范数;

A204.提取本次迭代中最后一个掩膜引导特征提取模块生成的掩膜,用以与所述最终融合特征进行逐元素相乘,得到所述最终融合特征中的可见光分配图;

A205.利用预设的图像复原网络对所述可见光分配图进行复原,得到复原图,并根据以下公式计算任务耦合退化感知损失:;

其中, 为所述任务耦合退化感知损失, 为所述可见光分配图, 为所述复原图;

A206.计算所述最终融合特征、所述干净红外源图像和所述干净可见光源图像的梯度图,并根据以下公式计算梯度损失:;

其中, 为所述梯度损失, 为所述最终融合特征的梯度图, 为所述干净可见光源图像的梯度图, 为所述干净红外源图像的梯度图;

A207.根据以下公式计算颜色一致性损失:

其中, 为所述颜色一致性损失, 为所述最终融合特征, 表示把图像空间转换到CbCr颜色空间的函数;

A208.根据以下公式计算总损失函数,并根据所述总损失函数优化所述掩膜引导的图像恢复与融合模型的模型参数:;

其中, 为所述总损失函数;

A209.迭代执行步骤A201‑步骤A208,直到所述总损失函数低于预设损失阈值或迭代次数达到预设次数阈值,得到训练后的掩膜引导的图像恢复与融合模型。

10.一种如权利要求1‑7任一项所述的掩膜引导的图像恢复与融合模型的使用方法,其特征在于,包括步骤:B1.获取待融合图像,所述待融合图像包括相互配准的可见光图像和红外图像;

B2.把所述待融合图像输入训练后的所述掩膜引导的图像恢复与融合模型,得到所述掩膜引导的图像恢复与融合模型输出的最终融合特征,作为融合图像。