利索能及
我要发布
收藏
专利号: 2024102685007
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度特征提取和目标重建的图像融合方法,其特征在于:包括如下步骤:

S1:获取包含红外图像和可见光图像的训练集和测试集,并对图像中的目标进行检测,构建目标的掩膜;

S2:构建多尺度融合及目标重建神经网络,所述多尺度融合及目标重建神经网络包括两个多尺度特征提取网络、一个融合图像生成网络、Concat层以及两个目标源图像重建神经网络;两个多尺度特征提取网络均用于多尺度特征提取;Concat层Ⅰ用于对多尺度特征提取网络提取的多尺度特征进行拼接,得到拼接特征;融合图像生成网络用于对拼接特征进行特征融合,得到融合图像;两个目标源图像重建神经网络分别用于对两个多尺度特征提取网络输出的特征进行目标源图像重建;

步骤S2中,多尺度特征提取网络包括卷积模块Ⅰ,所述卷积模块Ⅰ分别连接第一个图像转换模块、第一个下采样模块和第一个block块,第一个下采样模块分别连接第一个上采样模块、第二个下采样模块和第二个block块,第一个上采样模块连接第二个图像转换模块,第二个下采样模块分别连接第二个上采样模块、第三个下采样模块和第三个block块,第二个上采样模块连接第三个图像转换模块,第三个下采样模块分别连接第三个上采样模块和第四个block块,第三个上采样模块连接第四个图像转换模块,第一个block块至第四个block块通过一个Concat层连接;第一个图像转换模块输出的特征图与第二个图像转换模块输出的特征图相减、第二个图像转换模块输出的特征图与第三个图像转换模块输出的特征图相减、第三个图像转换模块输出的特征图与第四个图像转换模块输出的特征图相减,相邻两个图像转换模块输出的特征图相减得到包含相邻两个尺度之间丢失信息的特征图,上述这些包含相邻两个尺度之间丢失信息的特征图通过另一个Concat层连接,上述两个Concat层再通过一个Concat层连接;其中,第一个block块至第四个block块输出的特征图利用Concat层拼接后能够得到具有多尺度信息的特征图;而第一个图像转换模块输出的特征图与第二个图像转换模块输出的特征图相减、第二个图像转换模块输出的特征图与第三个图像转换模块输出的特征图相减、第三个图像转换模块输出的特征图与第四个图像转换模块输出的特征图相减,相邻两个图像转换模块输出的特征图相减得到包含相邻两个尺度之间丢失信息的特征图,上述这些包含相邻两个尺度之间丢失信息的特征图利用另一个Concat层拼接后能够得到具有细节增强信息的特征图;而上述两个Concat层输出的具有多尺度信息的特征图和具有细节增强信息的特征图再利用Concat层拼接后,即可得到具有多尺度信息和细节增强信息的特征图;

融合图像生成网络包括依次连接的四个卷积模块Ⅲ,其中,第一个卷积模块Ⅲ至第三个卷积模块Ⅲ均用于特征融合和缩小通道,第四个卷积模块Ⅲ用于对第三个卷积模块Ⅲ输出的融合图像特征图进行特征融合并缩小通道,并使输出的Tensor值在[‑1,1]之间,最终得到可见光图像的Y通道图像与红外图像融合后的灰色融合图像;

目标源图像重建神经网络包括三个卷积模块Ⅴ,其中,前两个卷积模块Ⅴ均包括一个卷积核大小为3×3的卷积层和一个LReLU激活层,前两个卷积模块Ⅴ分别为第一个卷积模块Ⅴ和第二个卷积模块Ⅴ,第三个卷积模块Ⅴ包括一个卷积核大小为3×3的卷积层和一个Tanh激活层;第一个卷积模块Ⅴ用于对多尺度特征提取网络输出的特征图进行特征融合并缩小通道,得到通道数为48的特征图;第二个卷积模块Ⅴ用于对第一个卷积模块Ⅴ输出的特征图进行特征融合并缩小通道,得到通道数为16的特征图;第三个卷积模块Ⅴ用于对第二个卷积模块Ⅴ输出的特征图进行特征融合并缩小通道,并使输出的Tensor值在[‑1,1]之间,最终得到目标源重建图像;

S3:构建总损失函数,其中,总损失包括图像融合损失 、基于目标的图像重建损失和图像转换损失 ;

S4:在总损失函数的引导下,利用训练集训练多尺度融合及目标重建神经网络,得到多尺度融合及目标重建神经网络模型;

步骤S4具体包括如下步骤:

S4‑1:利用图像空间转换模块将融合网络的训练集中的可见光图像转化为YCbCr图像,然后将可见光图像的Y通道图像分离出来;

S4‑2:将融合网络的训练集中红外图像和步骤S4‑1得到的Y通道图像输入至多尺度融合及目标重建神经网络,得到单通道融合图像、重建的红外图像和重建的可见光图像的Y通道图像,其中,重建的红外图像和重建的可见光图像的Y通道图像即为目标源重建图像;而后,将目标源重建图像和与目标源重建图像对应的掩膜进行对应元素相乘,并将单通道融合图像分别与两个与目标源重建图像对应的掩膜进行对应元素相乘,而后,在总损失的引导下进行反向传播,并更新多尺度融合及目标重建神经网络的权重,迭代100次,完成多尺度融合及目标重建神经网络的训练过程,得到多尺度融合及目标重建神经网络模型;

S5:将红外图像和可见光图像的Y通道图像输入至多尺度融合及目标重建神经网络模型中,前向传播一次,得到图像融合结果。

2.根据权利要求1所述的基于多尺度特征提取和目标重建的图像融合方法,其特征在于:步骤S1具体如下:

S1‑1、从RoadSence数据集中随机选择22对白天场景的红外图像和可见光图像以及23对夜间场景的红外图像和可见光图像作为测试集;而后,将RoadSence数据集中剩余的176对红外图像和可见光图像作为训练集;

S1‑2、对训练集中的红外图像和可见光图像中的目标进行检测,并记录目标检测框的坐标,而后利用掩膜生成方法依据目标检测框的坐标分别构建红外图像中目标的掩膜以及可见光图像中目标的掩膜,得到红外图像中的目标的掩膜和可见光图像中的目标的掩膜。

3.根据权利要求1所述的基于多尺度特征提取和目标重建的图像融合方法,其特征在于:步骤S2中,所述block块包括第一分支、第二分支、第三分支;其中,第一分支、第二分支、第三分支均与Concat层连接;其中,第一分支包括依次连接的拉普拉斯边缘检测模块、Add层、Sobel边缘检测器和第一个卷积模块Ⅱ;与卷积模块Ⅰ连接的第一个block块中的拉普拉斯边缘检测模块还与第一个卷积模块Ⅰ连接,与第一个下采样模块连接的第二个block块中的拉普拉斯边缘检测模块还与第一个下采样模块连接,与第二个下采样模块连接的第三个block块中的拉普拉斯边缘检测模块还与第二个下采样模块连接,与第三个下采样模块连接的第四个block块中的拉普拉斯边缘检测模块还与第三个下采样模块连接;第二分支包括第二个卷积模块Ⅱ、第三个卷积模块Ⅱ和第四个卷积模块Ⅱ,第二个卷积模块Ⅱ和第三个卷积模块Ⅱ密集连接后与第四个卷积模块Ⅱ连接;第三分支由第五个卷积模块Ⅱ构成;

第一个卷积模块Ⅱ、第四个卷积模块Ⅱ和第五个卷积模块Ⅱ均与Concat层连接;其中,第一分支用于提取和增强输入其中的特征图中的纹理信息,第二分支用于对输入至block块中的特征图中的全局信息进行提取,得到包含有全局信息的特征图;第三分支能够更好地保留输入至block块中的特征图中的信息;block块中的Concat层用于对第一个卷积模块Ⅱ、第四个卷积模块Ⅱ和第五个卷积模块输出的特征图进行拼接,拼接后得到通道数为12的具有更多增强纹理信息和更多全局信息的特征图。

4.根据权利要求1所述的基于多尺度特征提取和目标重建的图像融合方法,其特征在于:步骤S2中,图像转换模块包括图像特征提取网络和图像重构网络;其中,图像特征提取网络包括依次连接的两个卷积模块Ⅳ,第一个卷积模块Ⅳ和第二个卷积模块Ⅳ均用于特征提取和扩张通道;图像重构网络包括第三个卷积模块Ⅳ、第四个卷积模块Ⅳ和第五个卷积模块Ⅳ,第三个卷积模块Ⅳ和第四个卷积模块Ⅳ均用于特征融合和缩小通道,第五个卷积模块Ⅳ用于对第四个卷积模块Ⅳ输出的特征进行特征融合并缩小通道,并使输出的Tensor值在[‑1,1]之间,最终得到转换后的图像。

5.根据权利要求1所述的基于多尺度特征提取和目标重建的图像融合方法,其特征在于:步骤S3中,基于目标的图像重建损失包括红外图像掩膜像素损失、红外图像掩膜梯度损失、红外图像掩膜结构相似性损失和可见光图像掩膜像素损失、可见光图像掩膜梯度损失、可见光图像掩膜结构相似性损失。

6.根据权利要求1所述的基于多尺度特征提取和目标重建的图像融合方法,其特征在于:步骤S3中,图像转换损失包括红外图像像素损失、可见光图像像素损失、红外图像梯度损失、可见光图像梯度损失、红外图像梯度损失和可见光图像梯度损失。