1.一种基于语义分割及边缘特征和梯度特征提取的图像融合方法,其特征在于:包括如下步骤:
S1、获取网络训练集和网络测试集;
S2、构建基于语义分割及边缘特征和梯度特征提取的神经网络,所述基于语义分割及边缘特征和梯度特征提取的神经网络包括依次连接的图像空间转换模块、图像融合网络以及语义分割网络;其中,图像空间转换模块用于对可见光图像进行处理,得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像;图像融合网络用于对红外图像和Y通道图像进行图像融合得到包含丰富的全局特征和局部特征以及丰富的边缘特征和梯度特征的单通道图像,并将单通道图像与Cb通道图像和Cr通道图像进行通道拼接和格式转换得到彩色融合图像;语义分割网络用于对彩色融合图像进行语义分割,得到分割图像;
图像融合网络包括两个特征提取单元,其中一个特征提取单元用于提取红外图像中的全局特征、局部特征、边缘特征和梯度特征;另一个特征提取单元与图像空间转换模块的输出端连接,用于提取Y通道图像中的全局特征、局部特征、边缘特征和梯度特征;两个特征提取单元均与Concat层连接,Concat层依次连接三个卷积块Ⅰ、一个卷积块Ⅱ以及一个格式转换模块;其中,Concat层用于对两个特征提取单元输出的特征图进行通道拼接;第一个卷积块Ⅰ至第三个卷积块Ⅰ分别用于对输入其中的特征图进行降维操作;卷积块Ⅱ用于降维操作,并利用Tan h 激活层将像素值映射到特定范围,得到单通道融合图像;格式转换模块用于将单通道融合图像转换成彩色融合图像;
特征提取单元包括两个全局特征和局部特征提取模块以及两个边缘特征和梯度特征提取模块,第一个全局特征和局部特征提取模块、第一个边缘特征和梯度特征提取模块、第二个全局特征和局部特征提取模块以及第二个边缘特征和梯度特征提取模块依次连接;两个全局特征和局部特征提取模块均用于对输入其中的图像或者特征图进行升维操作以及对全局特征和局部特征进行提取的操作,输出具有包含丰富的全局特征和局部特征的特征图;两个边缘特征和梯度特征提取模块均是用于对输入其中的特征图中的边缘特征和梯度特征进行提取,输出具有丰富的边缘特征和梯度特征的特征图;
全局特征和局部特征提取模块,包括分支Ⅰ和分支Ⅱ;分支Ⅰ包括采用密集连接方式连接的第一个卷积块Ⅲ、第一个卷积块Ⅳ、第一个Add层、第二个卷积块Ⅳ以及第二个Add层;
分支Ⅱ包括依次连接的第二个卷积块Ⅲ、Transformer块以及第三个卷积块Ⅳ,第一个卷积块Ⅲ和第二个卷积块Ⅲ的输入端并联,第三个卷积块Ⅳ的输出端与第二个Add层的输入端连接;其中,分支Ⅰ用于提取输入至全局特征和局部特征提取模块的图像或者特征图中更多的局部特征,并进行升维;分支Ⅱ用于对输入全局特征和局部特征提取模块中的图像或者特征图进行全局特征提取,并进行升维;其中,分支Ⅱ中的第二个卷积块Ⅲ用于对输入至全局特征和局部特征提取模块的图像或者特征图进行特征提取,并进行升维,Transformer块用于对第二个卷积块Ⅲ输出的特征图进行全局特征提取,输出具有全局特征依赖关系的特征图,第三个卷积块Ⅳ用于对Transformer块输出的特征图再次进行全局特征提取,得到具有全局特征的特征图,而分支Ⅰ中的第二个Add层用于对第一个卷积块Ⅲ输出的特征图、第一个卷积块Ⅳ输出的特征图、第二个卷积块Ⅳ输出的特征图以及第三个卷积块Ⅳ输出的特征图进行逐元素相加,输出具有丰富的全局特征和局部特征的特征图;
边缘特征和梯度特征提取模块包括三个分支,第一分支由依次连接的第一个卷积块Ⅴ、第一个卷积块Ⅵ以及第二个卷积块Ⅴ构成,第二分支由依次连接的第二个卷积块Ⅵ与Sobel算子连接构成,第三分支由依次连接的第三个卷积块Ⅵ和Scharr算子构成,第一分支、第二分支和第三分支并联,第一分支、第二分支和第三分支的输出端均与Add层相连接;
其中,第一分支中第一个卷积块Ⅴ和第二个卷积块Ⅴ均用于对输入其中的特征图进行降低参数操作,第一个卷积块Ⅵ用于对输入其中的特征图进行特征提取操作;第二分支中第二个卷积块Ⅵ用于对输入其中的特征图进行特征提取,Sobel算子用于对第二个卷积块Ⅵ输出的特征图中的梯度特征进行提取操作,输出具有丰富梯度特征的特征图;第三分支中第三个卷积块Ⅵ用于对输入其中的特征图进行特征提取,Scharr算子用于对第三个卷积块Ⅵ输出的特征图中的目标边缘特征进行特征提取操作,输出具有丰富边缘特征特征图;而Add层则用于对第一分支中第二个卷积块Ⅴ输出的特征图、第二分支中Sobel算子输出的具有丰富梯度特征的特征图以及第三分支中Scharr算子输出的具有丰富边缘特征的特征图进行逐元素相加,得到具有丰富的边缘特征和梯度特征的特征图;
S3、计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失Loverall,并基于总体损失Loverall训练基于语义分割及边缘特征和梯度特征提取的神经网络,得到基于语义分割及边缘特征和梯度特征提取的神经网络模型;
S4、将红外图像和可见光图像输入至步骤S3得到的基于语义分割及边缘特征和梯度特征提取的神经网络模型中前向传播一次,得到彩色融合图像。
2.根据权利要求1所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法,其特征在于:选用MSRS数据集中的训练集作为网络训练集;并从MSRS数据集中的测试集中随机选取20对已经配准的正常光场景下的红外图像和可见光图像以及20对已经配准的低光场景下的红外图像和可见光图像,构成网络测试集。
3.根据权利要求1所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法,其特征在于:语义分割网络采用的是现有的轻量级语义分割网络LiteSeg。
4.根据权利要求1所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法,其特征在于:步骤S3具体步骤如下:
S3‑1:将网络训练集中的可见光图像输入至图像空间转换模块,图像空间转换模块将可见光图像转化为YCbCr图像空间,然后,将可见光图像的Y通道图像、Cb通道图像和Cr通道图像分别分离出来,得到可见光图像的Y通道图像、Cb通道图像和Cr通道图像;
S3‑2:网络训练集中的红外图像和步骤S3‑1得到的Y通道图像输入至基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络中,得到单通道融合图像;而后,单通道融合图像、Cb通道图像以及Cr通道图像均输入至图像融合网络中的格式转换模块中,格式转换模块将单通道融合图像、Cb通道图像以及Cr通道图像融合在一起,得到YCbCr颜色空间,而后,格式转换模块将YCbCr颜色空间进行格式转换,得到彩色融合图像;而后,语义分割网络LiteSeg对彩色融合图像进行分割,得到分割图像,而后,计算分割图像以及已配对源图像相对应的标签之间的语义损失,计算彩色融合图像与已配对源图像之间的内容损失,而后基于语义损失和内容损失计算基于语义分割及边缘特征和梯度特征提取的神经网络的总体损失Loverall,并利用计算出的总体损失Loverall,迭代更新基于语义分割及边缘特征和梯度特征提取的神经网络中的图像融合网络以及语义分割网络LiteSeg的参数,迭代训练4个过程,得到基于语义分割及边缘特征和梯度特征提取的神经网络模型;其中,已配对源图像是指输入至基于语义分割及边缘特征和梯度特征提取的神经网络的已配对的原始红外图像和原始可见光图像。
5.根据权利要求4所述的一种基于语义分割及边缘特征和梯度特征提取的图像融合方法,其特征在于:所述总体损失Loverall包括内容损失Lcont和语义损失Lsea,总体损失Loverall与内容损失Lcont和语义损失Lsea的关系,如式(1)所示: (1)
式(1)中,ζ作为平衡因子用于平衡内容损失Lcont和语义损失Lsea,本申请中对基于语义分割及边缘特征和梯度特征提取的神经网络进行训练时共迭代训练4个过程,其中,第一个迭代训练过程至第四个迭代训练过程中的ζ分别设置为0、1、2和3。