利索能及
我要发布
收藏
专利号: 2023117056817
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于差异显著性聚合和联合梯度约束的图像融合方法,其特征在于,包括以下步骤:S1、将红外和可见光两类源图像输入到融合网络中;该融合网络包括生成器、双通道梯度聚合模块和判别器,其中,生成器包括显著性差异感知聚合子网络和特征融合子网络;红外和可见光两类源图像首先被输入到显著性差异感知聚合子网络中,该子网络包括多尺度立体注意力模块和区域聚合策略,通过多尺度立体注意力模块分别提取红外和可见光两类源图像显著性区域的注意力信息,通过区域聚合策略整合得到差异联合显著性图;

所述S1具体为:

S11、将红外与可见光图像两类源图像分别输入到显著性差异感知聚合子网络;通过多尺度立体注意力模块感知两类源图像显著性区域在不同尺度下的空间和通道注意力信息,得到对应源图像的显著性特征图;

S12、将显著性特征图通过区域聚合策略进行整合,得到差异联合显著性图Imask;

S2、将生成的差异联合显著性图和两类源图像一起输入到特征融合子网络中;其中,特征融合子网络包含增加了跳跃连接的链式结构的梯度残差模块,梯度残差模块依次相连来提取差异联合显著性图以及红外与可见光两类源图像的特征,之后通过卷积对特征进行重建得到初步融合图像;

所述S2具体为:

S21、在特征融合子网络中,将差异联合显著性图Imask分别与红外和可见光图像逐元素相乘,得到显著性目标区域图It和显著背景区域图Id;对It和红外图像、Id和可见光图像分别在两个并行的特征提取分支上用3x3的卷积层提取浅层特征;在每个并行的特征提取分支中,提取到的浅层特征分别在通道维度串联,用特征融合子网络中增加跳跃连接的链式结构的梯度残差模块进一步提取深层特征;

S22、将串联后的浅层特征通过依次相连的梯度残差模块来进一步提取特征,同时相邻梯度残差模块通过跳跃连接以避免上下文信息的丢失;在梯度残差模块中,主流由两个3x3的卷积密集连接提取深层特征,残差流通过Sobel梯度算子进行梯度运算提取并保留源图像细粒度特征,通过主流和残差流分别得到的深层特征和细粒度特征,在通道维度拼接后集成深层特征和细粒度信息;将从梯度残差模块提取的深层特征和细粒度特征经过4个3x3卷积层进行特征重建,除了最后一层使用Tanh激活函数得到初步融合图像,其余各层均使用BN归一化和LRelu激活函数;

S3、通过融合网络中的双通道梯度聚合模块构建包含源图像互补性纹理信息的联合梯度图;将联合梯度图与初步融合图像的梯度图一起输入到融合网络的判别器中,增强初步融合图像的纹理细节;

所述S3具体为:

S31、通过双通道梯度聚合模块构建联合梯度图:首先通过Sobel算子分别计算红外和可见光通道的梯度;然后通过双通道聚合策略整合红外和可见光通道的梯度信息,得到包含源图像互补性纹理信息的联合梯度图Igrad,这一过程表示为:其中, 表示梯度运算,具体为sobel算子计算梯度;abs(·)表示绝对值运算,max(·)表示像素级别的最大选择策略;

S32、将具有互补性纹理特征的联合梯度图和初步融合图像的梯度图一起输入到判别器中,判别器是四层的网络结构,前三层使用3x3的卷积核,最后一层为全连接层,并使用sigmoid函数输出判别概率;判别器用来计算联合梯度图和初步融合图像的梯度图之间纹理信息的相似程度,从而进一步刻画初步融合图像中前景目标和背景语义信息的纹理细节;

S4、在融合网络的生成器中,分别计算初步融合图像与红外和可见光两类源图像之间的内容损失;在融合网络的判别器中,计算联合梯度图与初步融合图像的梯度图之间的对抗性损失;将内容损失和对抗性损失一起用于训练融合网络,优化图像融合的效果;当训练轮数达到预设数目时,网络训练完成,生成最终的融合图像。

2.根据权利要求1所述的一种基于差异显著性聚合和联合梯度约束的图像融合方法,其特征在于,所述S4具体为:S41、在生成器中分别计算初步的融合图像与两类源图像之间的内容损失;其中,内容损失至少包括像素强度损失、结构相似性损失和生成器的对抗性损失;

S42、在判别器中,计算联合梯度图与初步融合图像梯度图的之间的对抗性损失;与内容损失一起训练网络,优化图像的融合效果;预设总训练轮数,当训练轮数到达预设总训练轮数时,视为网络训练完成,生成最终的融合图像。

3.根据权利要求1所述的一种基于差异显著性聚合和联合梯度约束的图像融合方法,其特征在于,所述S11中多尺度立体注意力模块的工作机制为:在该模块中,输入图像通过3x3深度可分离卷积提取得到各个通道的一般特征F0;通过不同膨胀率的3x3深度可分离卷积将F0划分为不同尺度特征;通过立体注意力计算多尺度特征在空间和通道维度上不同分支的注意力权重;其中,立体注意力的计算公式表示为:其中,v代表立体注意力权重,c和s分别表示通道注意力和空间注意力,表示逐元素乘法;

立体注意力权重经过softmax函数处理得到最终的立体注意力权重,整合不同尺度特征,将融合特征F通过一个1x1卷积调整通道后,再与输入图像求和,得到对应源图像的显著性特征图。

4.根据权利要求1所述的一种基于差异显著性聚合和联合梯度约束的图像融合方法,其特征在于,所述S12具体为:将对应的红外与可见光图像的显著性特征图通过区域聚合策略整合特征:通过像素级最大选择的方式整合源图像的全部显著性区域:其中,Ijoint(i,j)表示整合后显著性特征图(i,j)位置的像素值,Iir_mask(i,j)和Ivi_mask(i,j)分别为红外和可见光图像的显著性特征图(i,j)位置的像素值;

整合后的显著性特征图通过OTSU阈值分割方法进行二值化,得到差异联合显著性图,表示为:Imask=ThresholdOTSU(Ijoint)

其中,ThresholdOTSU(·)表示OTSU阈值分割方法。

5.根据权利要求2所述的一种基于差异显著性聚合和联合梯度约束的图像融合方法,其特征在于,所述S41具体为:生成器的内容损失包括像素强度损失、相似性损失和生成器对抗性损失,分别表示为:Lint,Lsim,Ladv;其中,

像素强度损失Lint定义表示为:

其中,H和W分别是图像的高度和宽度,||·||1表示L1范数,max(·)表示图像像素级别的最大选择;强度损失通过最大选择策略整合红外和可见图像的像素强度分布,来约束融合图像的像素强度分布;

相似性损失Lsim定义表示为:

其中,SSIM(If,Iir)表示图像If和Iir之间的结构相似性度量,Iir和Ivi分别为红外和可见光图像;

生成器的对抗损失Ladv定义表示为:

其中,c是概率标签,值为1;D(·)表示判别器的输出结果;n表示第n张图像,N表示图像的总数量;

构建图像融合任务的生成器内容损失LG,其定义表示为:

LG=λ1Lint+λ2LSSIM+λ3Ladv

其中,λ1,λ2,λ3是控制每项损失的权重。

6.根据权利要求2所述的一种基于差异显著性聚合和联合梯度约束的图像融合方法,其特征在于,所述S42具体为:通过判别器的对抗性损失函数计算融合图像梯度图和联合梯度图之间的相似度,以达到缩小初步融合图像与联合梯度图之间纹理特征差异的目的;判别器的对抗性损失函数LDadv定义为:其中,a是融合图像的梯度图的标签,值为0;b是联合梯度图的标签,值为1;D(·)表示判别器的输出结果;n表示第n张图像,N表示图像的总数量;

预设总训练轮数为E,当训练轮数到达E时,视为网络训练完成,生成最终的融合图像。