利索能及
我要发布
收藏
专利号: 2024100764131
申请人: 佛山科学技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种含雾图像融合模型,用于对配准的可见光图像和红外光图像进行融合处理,其特征在于,包括第一输入层(1)、第二输入层(2)、去雾模块(3)、两个低秩表示模块(4)、第一稀疏Transformer模块(5)、稀疏特征预测模块(6)和输出层(7);

所述第一输入层(1)、所述去雾模块(3)和第一个所述低秩表示模块(4)依次连接,所述第一输入层(1)用于输入可见光图像,所述去雾模块(3)用于对所述可见光图像进行去雾处理,第一个所述低秩表示模块(4)用于提取去雾处理后的可见光图像中的稀疏局部特征和低秩全局特征,记为第一稀疏局部特征和第一低秩全局特征;

所述第二输入层(2)与第二个所述低秩表示模块(4)连接,所述第二输入层(2)用于输入红外光图像,第二个所述低秩表示模块(4)用于提取所述红外光图像的稀疏局部特征和低秩全局特征,记为第二稀疏局部特征和第二低秩全局特征;

两个所述低秩表示模块(4)的稀疏局部特征输出端级联后与所述稀疏特征预测模块(6)连接,两个所述低秩表示模块(4)的低秩全局特征输出端级联后与所述第一稀疏Transformer模块(5)连接;所述稀疏特征预测模块(6)用于融合所述第一稀疏局部特征和所述第二稀疏局部特征,得到第一融合特征,所述第一稀疏Transformer模块(5)用于融合所述第一低秩全局特征和所述第二低秩全局特征得到第二融合特征;

所述第一稀疏Transformer模块(5)和所述稀疏特征预测模块(6)均与所述输出层(7)连接,所述第一融合特征和所述第二融合特征相加后输出至所述输出层(7);

所述去雾模块(3)为堆叠有五个第二稀疏Transformer模块(8)的U‑Net骨干网络,所述U‑Net骨干网络的两侧嵌入有物理感知无雾特征预测块(9);

所述物理感知无雾特征预测块(9)用于提取输入图像特征的大气光特征和透射特征,并执行以下运算以把所述输入图像特征转换为无雾图像特征:;

其中,为所述输入图像特征,为所述输入图像特征的透射特征,为所述输入图像特征的大气光特征, 为哈达玛乘积,为所述无雾图像特征;

所述物理感知无雾特征预测块(9)提取所述输入图像特征的深度特征和照度特征后,基于以下模型提取所述输入图像特征的透射特征:;

其中,i为特征序号, 为所述输入图像特征的第i个深度特征, 为所述输入图像特征的第i个照度特征, 为对应于 的滤波函数, 为对应于 的滤波函数,为卷积算子。

2.根据权利要求1所述的含雾图像融合模型,其特征在于,所述第二稀疏Transformer模块(8)包括依次连接的第一结构和第二结构;

所述第一结构包括依次连接的归一化层和Top‑k稀疏注意网络,所述第一结构的输入端与对应的归一化层的输入端和所述Top‑k稀疏注意网络的输出端连接,所述第一结构的输入特征与所述Top‑k稀疏注意网络的输出特征相加作为所述第一结构的输出特征;

所述第二结构包括依次连接的归一化层和混合尺度前馈网络,所述第二结构的输入端与对应的归一化层的输入端和所述混合尺度前馈网络的输出端连接,所述第二结构的输入特征与所述混合尺度前馈网络的输出特征相加作为所述第二结构的输出特征。

3.根据权利要求1所述的含雾图像融合模型,其特征在于,所述物理感知无雾特征预测块(9)利用全局平均池化消除所述输入图像特征的特征空间内的冗余信息,从而提取得到所述大气光特征。

4.根据权利要求1所述的含雾图像融合模型,其特征在于,所述去雾模块(3)基于以下第一总损失函数进行单独训练得到:;

其中, 为第一总损失函数, 为语义损失, 为去雾结果与对应参考结

果之间的结构相似性损失, 为去雾结果与对应参考结果之间的 范数损失。

5.根据权利要求1所述的含雾图像融合模型,其特征在于,所述稀疏特征预测模块(6)基于以下模型融合所述第一稀疏局部特征和所述第二稀疏局部特征:;

其中,为所述第一融合特征,j为特征序号, 为第j个所述第一稀疏局部特征, 为第j个所述第二稀疏局部特征, 为对应于 的稀疏滤波函数, 为对应于 的稀疏滤波函数,为卷积算子。

6.根据权利要求4所述的含雾图像融合模型,其特征在于,所述含雾图像融合模型在保持所述去雾模块(3)的模型参数固定的情况下,基于以下第二总损失函数进行训练得到:;

其中, 为所述第二总损失函数, 为融合结果与对应参考结果之间的 范数损失, 为融合结果与对应参考结果之间的结构相似性损失, 为梯度损失。

7.一种含雾图像融合方法,其特征在于,基于权利要求1‑6任一项所述的含雾图像融合模型,包括步骤:A1.获取配准的可见光图像和红外光图像;

A2.把所述可见光图像输入所述含雾图像融合模型的第一输入层(1),并把所述红外光图像输入所述含雾图像融合模型的第二输入层(2),获得所述含雾图像融合模型输出的融合图像。