1.一种基于语义丰富和分割任务的红外与可见光图像融合方法,其特征在于:包括以下步骤:
步骤S1:获取融合网络的训练集和测试集以及泛化实验的测试集;
步骤S2:构建图像融合网络;
所述图像融合网络包括五个卷积块Ⅰ、两个CISM模块、四个细粒度特征提取模块、四个Concat层Ⅰ、一个通道拼接层Ⅰ以及一个卷积块Ⅱ;第一个卷积块Ⅰ、第二个卷积块Ⅰ分别连接第一个Concat层Ⅰ、第二个Concat层Ⅰ,第一个卷积块Ⅰ、第二个卷积块Ⅰ还与第一个CISM模块连接,第一个CISM模块还分别与第一个Concat层Ⅰ、第二个Concat层Ⅰ连接,第一个Concat层Ⅰ、第二个Concat层Ⅰ分别连接第一个细粒度特征提取模块、第二个细粒度特征提取模块,第一个细粒度特征提取模块、第二个细粒度特征提取模块分别连接第三个Concat层Ⅰ、第四个Concat层Ⅰ,第一个细粒度特征提取模块、第二个细粒度特征提取模块还与第二个CISM模块连接,第二个CISM模块分别与第三个Concat层Ⅰ、第四个Concat层Ⅰ连接,第三个Concat层Ⅰ、第四个Concat层Ⅰ分别连接第三个细粒度特征提取模块、第四个细粒度特征提取模块,第三个细粒度特征提取模块、第四个细粒度特征提取模块与通道拼接层Ⅰ连接,通道拼接层Ⅰ依次连接第三个卷积块Ⅰ、第四个卷积块Ⅰ、第五个卷积块Ⅰ以及卷积块Ⅱ;
所述CISM模块包括特征层、最大池化层、平均池化层、通道拼接层Ⅱ、卷积模块和Sigmoid层;其中,第一卷积块Ⅰ和第二卷积块Ⅰ与特征层连接,特征层分别连接最大池化层和平均池化层,最大池化层和平均池化层均与通道拼接层Ⅱ连接,通道拼接层Ⅱ依次连接卷积模块和Sigmoid层;第一个CISM模块的Sigmoid层分别与第一个Concat层Ⅰ和第二个Concat层Ⅰ连接;第二个CISM模块的Sigmoid层分别与第三个Concat层Ⅰ和第四个Concat层Ⅰ连接;
所述细粒度特征提取模块包括并列设置的主干网络、残差网络以及第五个Concat层Ⅱ,主干网络包括依次设置且密集连接的第一个卷积单元Ⅱ、第一个Concat层Ⅱ、第一个卷积单元Ⅰ、第二个Concat层Ⅱ、第二个卷积单元Ⅰ、第三个Concat层Ⅱ、第三个卷积单元Ⅰ、第四个Concat层Ⅱ、第二个卷积单元Ⅱ;残差网络上包括依次设置的第三个卷积单元Ⅱ、Sobel边缘检测模块、第四个卷积单元Ⅱ,主干网络的第二个卷积单元Ⅱ和残差网络的第四个卷积单元Ⅱ均与第五个Concat层Ⅱ连接;
步骤S3:利用融合网络的训练集并基于语义分割对构建的图像融合网络进行训练,得到图像融合网络模型;具体包括如下步骤:
步骤S3‑1:将融合网络的训练集中的可见光图像转化为YCbCr图像,然后将可见光图像的Y通道图像、可见光图像的Cb通道图像和可见光图像的Cr通道图像分别分离出来;
S3‑2:将融合网络的训练集中的红外图像和步骤S3‑1得到的Y通道图像输入至图像融合网络,得到单通道融合图像;而后,将单通道融合图像与Cb通道图像以及Cr通道图像融合在一起,得到YCbCr颜色空间,并将YCbCr颜色空间转换成彩色RGB融合图像;而后,利用语义分割网络BiSeNet对彩色RGB融合图像进行语义分割,而后,计算图像融合网络和语义分割网络BiSeNet的总体损失,并利用总体损失迭代更新网络的参数,反复迭代4次,得到图像融合网络模型;
而后,将融合网络的测试集中的红外图像和可见光图像输入至图像融合网络中,得到融合图像。
2.根据权利要求1所述的基于语义丰富和分割任务的红外与可见光图像融合方法,其特征在于:步骤S1的具体方式为:选用MSRS数据集中的训练集作为融合网络的训练集;从MSRS数据集中的测试集中随机选取20对已经配准的正常光场景下的红外图像和可见光图像以及20对已经配准的低光场景下的红外图像和可见光图像,构成融合网络的测试集;从TNO数据集中随机挑选20对已经配准的红外图像与可见光图像,构成泛化实验的测试集。
3.根据权利要求1所述的基于语义丰富和分割任务的红外与可见光图像融合方法,其特征在于:步骤S2中,卷积块Ⅰ包括一个卷积核为3×3的卷积层以及一个LReLu激活层。
4.根据权利要求1所述的基于语义丰富和分割任务的红外与可见光图像融合方法,其特征在于:步骤S2中,卷积块Ⅱ包括一个卷积核为1×1的卷积层以及一个Tanh激活层。
5.根据权利要求1所述的基于语义丰富和分割任务的红外与可见光图像融合方法,其特征在于:步骤S2中,卷积模块包括一个卷积核为3×3的卷积层以及一个LReLu激活层。
6.根据权利要求1所述的基于语义丰富和分割任务的红外与可见光图像融合方法,其特征在于:步骤S2中,卷积单元Ⅰ包括一个卷积核为3×3的卷积层以及一个LReLu激活层。
7.根据权利要求1所述的基于语义丰富和分割任务的红外与可见光图像融合方法,其特征在于:步骤S3中,总体损失 包括内容损失 和语义损失 ;而内容损失 包括强度损失 和纹理损失 ;语义损失 包括主语义损失 和辅助语义损失 。