利索能及
我要发布
收藏
专利号: 2023107720125
申请人: 佛山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于梯度变换先验的红外与可见光视觉信息融合方法,其特征在于,包括以下步骤:获取配准后的红外图像和配准后的可见光源图像,所述配准后的红外图像和配准后的可见光源图像表示在空间上具有一致的几何变换关系;

构建梯度变换先验网络,具体包括:

引入残差卷积模块、多层自注意力交互模块和特征解码模块,构建梯度变换先验网络;

所述残差卷积模块包括第一分支残差卷积和第二分支残差卷积,所述第一分支残差卷积包括第一残差卷积块、第二残差卷积块、第三残差卷积块和第四残差卷积块,所述第二分支残差卷积包括第五残差卷积块、第六残差卷积块、第七残差卷积块和第八残差卷积块,所述第一分支残差卷积的四个残差卷积块之间的连接方式为密集连接,所述第一分支残差卷积为可见光图像分支,所述第二分支残差卷积的四个残差卷积块之间的连接方式为串联连接,所述第二分支残差卷积为红外图像分支;

所述多层自注意力交互模块包括第一多层自注意力交互块、第二多层自注意力交互块、第三多层自注意力交互块和第四多层自注意力交互块,多层自注意力交互块之间的连接方式为串联连接;

所述残差卷积模块的输入端连接图像输入信息,所述残差卷积块的输出端与所述多层自注意力交互模块的输入端连接,所述多层自注意力交互模块的输出端反馈连接残差卷积块的输出端,所述残差卷积块的输出端还与所述特征解码模块的输入端连接;

将配准后的红外图像和配准后的可见光源图像输入至梯度变换先验网络;

基于梯度变换先验网络中的残差卷积模块的第一分支残差卷积对配准后的可见光源图像进行图像特征提取处理,得到可见光源图像特征;

基于梯度变换先验网络中的残差卷积模块的第二分支残差卷积对配准后的红外图像进行图像特征提取处理,得到红外图像特征;

基于梯度变换先验网络中的多层自注意力交互模块对可见光源图像特征和红外图像特征进行特征融合处理,得到特征融合图像;

将特征融合图像输入至特征解码模块,计算特征融合图像的权重矩阵,得到注意力权重矩阵;

将注意力权重矩阵与特征融合图像进行相乘计算,得到加强注意力后的特征融合图像;

将加强注意力后的特征融合图像与特征融合图像进行三层连续卷积解码处理,得到重建融合图像;

还包括构建梯度变换先验网络损失函数对重建融合图像的细节进行丰富处理,所述梯度变换先验网络损失函数包括强度损失函数、联合梯度损失函数和引导滤波损失函数,其中,强度损失函数用于使重建融合图像的强度分布保持清晰,联合梯度损失函数用于增强重建融合图像的纹理细节,引导滤波损失函数用于平滑重建融合图像的细节部分,所述梯度变换先验网络损失函数的其表达式为: ;

上式中, 表示梯度变换先验网络损失函数, 表示强度损失函数,表示联合梯度损失函数, 表示引导滤波损失函数, 、 和 表示对应的权重系数。

2.根据权利要求1所述基于梯度变换先验的红外与可见光视觉信息融合方法,其特征在于,所述基于梯度变换先验网络中的多层自注意力交互模块对可见光源图像特征和红外图像特征进行特征融合处理,得到特征融合图像这一步骤,其具体包括:将可见光源图像特征和红外图像特征输入至多层自注意力交互模块;

基于多层自注意力交互模块的注意力单元对可见光源图像特征和红外图像特征进行再次提取处理,得到可见光源特征图和红外特征图;

基于多层自注意力交互模块的通道注意力模块对可见光源特征图和红外特征图进行权重计算,生成权值矩阵并与可见光源特征图和红外特征图进行结合,得到加强注意力的特征图;

基于多层自注意力交互模块的空间注意力模块对加强注意力的特征图进行空间卷积处理,得到特征融合图像。

3.根据权利要求2所述基于梯度变换先验的红外与可见光视觉信息融合方法,其特征在于,所述基于多层自注意力交互模块的通道注意力模块对可见光源特征图和红外特征图进行权重计算,生成权值矩阵并与可见光源特征图和红外特征图进行结合,得到加强注意力的特征图这一步骤,其具体包括:将可见光源特征图和红外特征图输入至通道注意力模块;

基于通道注意力模块的平均池化聚合特征模块,聚合可见光源特征图和红外特征图的空间信息,生成空间上下文描述符;

基于通道注意力模块的共享网络模块,对空间上下文描述符进行映射处理,生成通道注意力映射权重矩阵;

通过逐元素乘法将通道注意力映射权重矩阵与可见光源特征图和红外特征图,得到加强注意力的特征图。

4.根据权利要求3所述基于梯度变换先验的红外与可见光视觉信息融合方法,其特征在于,通道注意力模块对可见光源特征图和红外特征图处理的过程为: ;

上式中, 表示多层感知器操作, 表示平均池化聚合特征操作,

表示空间上下文描述符, 和 表示全连接层的权重矩阵, 表示输入通道注意力模块的图像, 表示sigmoid函数, 表示通道注意力映射权重矩阵。

5.根据权利要求4所述基于梯度变换先验的红外与可见光视觉信息融合方法,其特征在于,所述基于多层自注意力交互模块的空间注意力模块对加强注意力的特征图进行空间卷积处理,得到特征融合图像这一步骤,其具体包括:将加强注意力的特征图输入至空间注意力模块;

对加强注意力的特征图依次进行最大池化操作和平均池化操作处理,并将生成结果进行拼合连接,生成特征描述符;

通过空间注意力模块的卷积层对特征描述符进行卷积处理,生成二维空间注意图即特征融合图像。

6.根据权利要求5所述基于梯度变换先验的红外与可见光视觉信息融合方法,其特征在于,空间注意力模块对加强注意力的特征图处理过程表达式为: ;

上式中, 表示二维空间注意图, 表示输入空间注意力模块的图像, 表示卷积核大小为7的卷积操作, 表示sigmoid函数, 表示空间注意力模块最大池化操作的结果, 表示空间注意力模块平均池化操作的结果。