1.一种红外光与可见光图像融合方法,其特征在于:至少包括以下步骤:S1:搭建融合网络,采用CNN的端到端的融合网络作为基本框架,端到端的CNN网络具有强大的特征提取能力和学习能力;
S2:搭建梯度聚合残差密集块,所述梯度聚合残差密集块结合了ResNext和DenseNet网络的优势,通过拆分-转换-合并以及稠密连接的方式来保留浅层特征和深层特征,加强网络的特征提取能力;
S3:搭建空间通道注意力模块,采用空间通道注意力模块放大有用信息,抑制无用信息的干扰,同时促进语义分割任务的发展,用于处理输入的深度特征;
S4:搭建分隔网络,充分增强融合图像的语义信息;
所述S1中融合网络的应用至少包括以下步骤:
通过将红外光和可见光图像分别送入到特征提取模块提取各自的深度特征;
随后将提取到的深度特征拼接送入到空间通道注意力机制中进一步提取特征并抑制无用信息的干扰;
最后通过特征重建模块生成融合图像;
所述S2中梯度聚合残差密集块中的分支执行一组转换,每个转换在低维嵌入上,其输出通过求和进行聚合;
所述S2中梯度聚合残差密集块将聚合变换的基数设置为2,至少由一个残差块和一个残差密集块组成,每个梯度聚合残差密集块包含三个分支,以提高提取特征的多样性,使其能够充分利用块内每个卷积层提取的深度特征;
由于源图像中包含丰富的纹理细节,所述梯度聚合残差密集块中还集成了拉普拉斯算子和Sobel算子,用于保留图像中更多的粗纹理和细纹理;
所述S3中空间通道注意力模块的至少包括多尺度特征提取、空间通道注意力机制和池化融合块;
所述S3中空间通道注意力模块的应用至少包括以下步骤:使用了四个不同核大小的卷积块来捕获多尺度和多感受野的深度特征,随后将捕获到深度特征分别送入到空间和通道注意力机制中;
通过自注意函数来生成空间和通道注意力mask,提高网络的信息捕获能力,从而获得更准确的空间信息和语义信息;
经过注意力分支的细化后,对通道特征图采用上采样操作使其恢复到原来的大小,另外本发明用卷积操作来控制空间特征图的通道数;
使用池化融合块,将生成的空间和通道注意力特征图进行融合,从而生成同时满足类内相似度和类间差异要求的融合特征图;
所述S4分隔网络的应用至少包括以下步骤:
引入了实时分割模型Bilateral attention decoder对融合后的图像进行分割,分割网络输出分割结果和辅助分割结果;
分割结果与语义标签之间的差距反映融合图像中所包含的语义信息的丰富程度;
利用这种差距构建语义损失;
利用语义损失通过反向传播来指导融合网络的训练,迫使融合图像包含更多的语义信息。