1.一种红外与可见光图像融合方法,其特征在于,包括:
获取目标物体的红外图像和可见光图像;
对所述红外图像和可见光图像进行灰度化和数据增强的预处理操作,得到预处理后的红外图像和可见光图像;
将预处理后的红外图像和可见光图像输入到预先训练好的基于特征交互和自编码器的红外与可见光图像融合模型,得到融合图像;
所述基于特征交互和自编码器的红外与可见光图像融合模型编码器、阶梯式融合层和一路级联式解码器;
所述编码器,用于提取预处理后的红外图像和可见光图像的红外特征、可见光特征和互补特征;
所述阶梯式融合层,用于对提取的红外特征、可见光特征和互补特征分别经过sigmoid激活函数获得各个特征的信息量权重图,通过相应的权重系数自适应地融合红外特征、可见光特征和互补特征,得到融合图像特征;
所述一路级联式解码器,用于对所述融合图像特征经过四个残差块,得到融合图像;
所述编码器包括红外路径、可见路径和交互补偿路径;
所述红外路径和可见光路径均包括第一卷积组、第二卷积组、第一梯度残差块、第二梯度残差块、第三梯度残差块和第四梯度残差块;
所述第一卷积组包括四个依次连接的卷积快,分别为Conv1、Conv2、Conv3、Conv4,Conv1的输入为可见光图像Iv,Conv4输出浅层可见光图像特征,浅层可见光图像特征依次经第一梯度残差块和第二梯度残差块后输出可见光图像特征;
所述第二卷积组包括四个依次连接的卷积快,分别为Conv2,Conv4,Conv6,Conv8,Conv5的输入为红外图像Ii,Conv8输出浅层红外图像特征,浅层红外图像特征依次经第三梯度残差块和第四梯度残差块,输出得到红外图像特征;
所述交互补偿路径包括四个交互式特征完善模块和三个跨层级特征聚合模块,分别表示为:第一交互式特征完善模块、第二交互式特征完善模块、第三交互式特征完善模块、第四交互式特征完善模块、第一跨层级特征聚合模块、第二跨层级特征聚合模块和第三跨层级特征聚合模块;
第一交互式特征完善模块、第二交互式特征完善模块、第一跨层级特征聚合模块、第三交互式特征完善模块、第二跨层级特征聚合模块、第四交互式特征完善模块、第三跨层级特征聚合模块依次连接;第一跨层级特征聚合模块的输出还连接第一跨层级特征聚合模块,第一跨层级特征聚合模块的输出还连接第二跨层级特征聚合模块,第二跨层级特征聚合模块的输出还连接第三跨层级特征聚合模块;
第一交互式特征完善模块的输入分别连接Conv2和Conv6的输出,第二交互式特征完善模块的输入分别连接Conv4和Conv8的输出,第三交互式特征完善模块的输入分别连接第一梯度残差块和第三梯度残差块,第四交互式特征完善模块的输入分别连接第二梯度残差块和第四梯度残差块。
2.根据权利要求1所述的红外与可见光图像融合方法,其特征在于,所述第一卷积组中Conv1,Conv3,Conv5,Conv7的输入通道数分别为1,16,1,16,输出通道数分别为1,16,1,16,每个卷积块包含卷积核为1×1的卷积、BN和LeakyReLU激活函数,输入特征依次通过1×1卷积、BN和LeakyReLU操作后输出特征;
所述第二卷积组中Conv2,Conv4,Conv6,Conv8的输入通道数分别为1,16,1,16,输出通道数分别为16,16,16,16,每个卷积块包含卷积核为3×3的卷积、BN和LeakyReLU激活函数,输入特征依次通过3×3卷积、BN和LeakyReLU操作后输出特征;
所述第一梯度残差块和第三梯度残差块、第二梯度残差块和第三梯度残差块均均包括主路径和残差路径,其中第一梯度残差块和第三梯度残差块的输入输出通道数分别为16,
32;第二梯度残差块和第三梯度残差块均的输入输出通道分别为32,64;主路径包含卷积核为1×1的卷积、BN、LeakyReLU激活函数、卷积核为3×3的卷积,残差路径包括Scharr梯度算子和DSConv,首先输入特征依次通过1×1的卷积、BN、LeakyReLU激活函数、卷积核为3×3的卷积和BN操作后得到可学习的卷积特征;其次输入特征依次通过Scharr梯度算子和DSConv操作后得到梯度幅度信息特征,两个特征相加后再经过LeakyReLU后得到输出特征。
3.根据权利要求1所述的红外与可见光图像融合方法,其特征在于,所述交互式特征完善模块包括通道注意力特征校正和空间注意力特征聚合两阶段,通道注意力特征校正包括逐元素相乘操作、拼接操作、MLP、平均池化操作、最大池化操作、sigmoid操作、逐元素相加操作,空间注意力特征聚合包括逐元素相乘操作、拼接操作、平均池化操作、最大池化操作、逐元素相加操作;
所述通道注意力特征校正阶段采用逐元素相乘法将输入的红外特征Fir和可见光特征Fvis进行交互,再与红外特征Fir和可见光特征Fvis进行拼接得到特征Fc;特征Fc在通道维度上经过全局最大池化、全局平局池化和MLP操作后,得到输出特征,将输出特征逐元素相加经过sigmoid激活函数操作后得到通道校准的加权系数,最后和拼接后的特征Fc相乘得到通道校正注意力图 ,表示为:;
其中, 表示拼接操作, 表示激活函数, 表示为全局最大平均池
化, 表示为全局平均池化;
;
;
其中, 表示通过空间注意力聚合后的可见光特征, 表示通过空间注意力聚合后的红外特征;
将两个空间注意力图、通道注意力图和初始输入特征相加,得到跨模态特征完善注意力图Fif,表示为:;
通过逐通道特征校正和逐空间特征聚合,捕捉不同模态的互补信息,得到跨模态特征完善注意力图。
4.根据权利要求3所述的红外与可见光图像融合方法,其特征在于,所述跨层级特征聚合模块包括两个卷积核为1×1的卷积、拼接操作、逐元素相乘操作、逐元素相加操作,两个不同尺度的特征通过1×1的卷积操作获得相关性特征图,相关性特征图与输入特征相乘后进行对应元素相加,最终得到互补特征,其中一个卷积用于调整输入通道数,另一个卷积用于获取相关性特征图。
5.根据权利要求4所述的红外与可见光图像融合方法,其特征在于,所述阶梯式融合层包括sigmoid操作、元素相乘操作和元素相加操作;
所述阶梯式融合层的输入为红外路径特征、可见光路径特征和互补特征,先将红外路径特征和可见光路径特征分别通过sigmoid操作得到权重图,再根据红外路径特征、可见光路径特征的权重图得到红外和可见光路径的权重系数 和 ,表示为:;
;
λ表示超参数,用于防止分母为0,F1表示红外特征,F2表示可见光特征;
将权重系数与对应的路径特征相乘,得到预融合特征 ,表示为:
;
其中,表示为逐元素相乘;
将跨层级特征聚合模块输出的互补特征F3和预融合特征 进行融合,得到融合图像特征。
6.根据权利要求5所述的红外与可见光图像融合方法,其特征在于,所述一路级联式解码器包括依次连接的四层结构相同的残差模块,四个残差模块的输入通道数2依次为128,
64,32,16,输出通道数依次为64,32,16,1;
所述残差模块包括主路径和残差路径,主路径包含卷积核为1×1的卷积、BN、LeakyReLU激活函数、卷积核为3×3的卷积,残差路径包括DSConv;
首先,输入特征依次通过1×1的卷积、BN、LeakyReLU、3×3的卷积和BN操作后得到可学习的卷积特征;其次,输入特征通过DSConv操作后得到梯度幅度信息特征,可学习的卷积特征和梯度幅度信息特征相加后经过LeakyReLU操作后得到输出特征;
第一层的残差模块的输入通道输入所述的输出通道融合图像特征,第四层残差模块输出融合图像。
7.根据权利要求6所述的红外与可见光图像融合方法,其特征在于,第四层所述残差模块的激活函数为双曲正切函数。
8.根据权利要求1所述的红外与可见光图像融合方法,其特征在于,所述基于特征交互和自编码器的红外与可见光图像融合模型的训练,包括:从TNO数据集中选定32对图像作为数据集,将图像灰度值转为[‑1,1],用128×128的窗口裁剪图像,步长设置为32,最终获得6184对图像块作为训练集;
设置损失函数Ltotal,表示为:
;
其中,λ1、λ2和λ3均为超参数,LSSIM为结构相似性损失,LpatchNCE为对比损失,Ldetail为纹理细节损失;
根据训练集和损失函数Ltotal对初始的基于特征交互和自编码器的红外与可见光图像融合模型进行训练,训练过程使用的Adam优化器更新网络模型参数,直到完成训练,得到训练好的基于特征交互和自编码器的红外与可见光图像融合模型。
9.一种红外与可见光图像融合装置,其特征在于,包括:
获取模块,用于获取目标物体的红外图像和可见光图像;
预处理模块,用于对所述红外图像和可见光图像进行灰度化和数据增强的预处理操作,得到预处理后的红外图像和可见光图像;
融合模块,用于将预处理后的红外图像和可见光图像输入到预先训练好的基于特征交互和自编码器的红外与可见光图像融合模型,得到融合图像;
所述基于特征交互和自编码器的红外与可见光图像融合模型编码器、阶梯式融合层和一路级联式解码器;
所述编码器,用于提取预处理后的红外图像和可见光图像的红外特征、可见光特征和互补特征;
所述阶梯式融合层,用于对提取的红外特征、可见光特征和互补特征分别经过sigmoid激活函数获得各个特征的信息量权重图,通过相应的权重系数自适应地融合红外特征、可见光特征和互补特征,得到融合图像特征;
所述一路级联式解码器,用于对所述融合图像特征经过四个残差块,得到融合图像;
所述编码器包括红外路径、可见路径和交互补偿路径;
所述红外路径和可见光路径均包括第一卷积组、第二卷积组、第一梯度残差块、第二梯度残差块、第三梯度残差块和第四梯度残差块;
所述第一卷积组包括四个依次连接的卷积快,分别为Conv1、Conv2、Conv3、Conv4,Conv1的输入为可见光图像Iv,Conv4输出浅层可见光图像特征,浅层可见光图像特征依次经第一梯度残差块和第二梯度残差块后输出可见光图像特征;
所述第二卷积组包括四个依次连接的卷积快,分别为Conv2,Conv4,Conv6,Conv8,Conv5的输入为红外图像Ii,Conv8输出浅层红外图像特征,浅层红外图像特征依次经第三梯度残差块和第四梯度残差块,输出得到红外图像特征;
所述交互补偿路径包括四个交互式特征完善模块和三个跨层级特征聚合模块,分别表示为:第一交互式特征完善模块、第二交互式特征完善模块、第三交互式特征完善模块、第四交互式特征完善模块、第一跨层级特征聚合模块、第二跨层级特征聚合模块和第三跨层级特征聚合模块;
第一交互式特征完善模块、第二交互式特征完善模块、第一跨层级特征聚合模块、第三交互式特征完善模块、第二跨层级特征聚合模块、第四交互式特征完善模块、第三跨层级特征聚合模块依次连接;第一跨层级特征聚合模块的输出还连接第一跨层级特征聚合模块,第一跨层级特征聚合模块的输出还连接第二跨层级特征聚合模块,第二跨层级特征聚合模块的输出还连接第三跨层级特征聚合模块;
第一交互式特征完善模块的输入分别连接Conv2和Conv6的输出,第二交互式特征完善模块的输入分别连接Conv4和Conv8的输出,第三交互式特征完善模块的输入分别连接第一梯度残差块和第三梯度残差块,第四交互式特征完善模块的输入分别连接第二梯度残差块和第四梯度残差块。