利索能及
我要发布
收藏
专利号: 2024101343820
申请人: 广东海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于分布式结构的红外与可见光图像融合方法,其特征在于,包括一种基于分布式结构的红外与可见光图像融合网络,所述网络的拓扑结构由上通道、下通道以及中间通道构成,所述上通道、下通道均由依次级联的MDDC多尺度密集空洞卷积模块以及ECB边缘辅助修正模块所组成,所述中间通道包括若干卷积块和CMB坐标平均注意力融合模块,所述MDDC多尺度密集空洞卷积模块用于获取红外图像和可见光图像的信息特征,所述ECB边缘辅助修正模块用于将所述上通道和下通道提取的信息特征的边缘细节进行细化,所述CMB坐标平均注意力融合模块用于进行特征融合,利用上通道和下通道中的MDDC多尺度密集空洞卷积模块以及ECB边缘辅助修正模块对可见光和红外图像进行特征提取,利用中间通道中的CMB坐标平均注意力融合模块将两个通道提取的特征与前一步的融合结果逐层融合,最后一层生成融合图像;

所述MDDC多尺度密集空洞卷积模块由四条不同感受野的输出分支、MAT多尺度注意力模块、SCM空间与通道注意力融合模块组成,所述MAT多尺度注意力模块用于对输入特征进行加权,再将加权后的特征馈送到四个不同的卷积分支中,通过具有不同接受域的卷积核获得多尺度特征,通过所述SCM空间与通道注意力融合模块进行融合,融合后的信息特征为所述MDDC多尺度密集空洞卷积模块的最终输出;

所述CMB坐标平均注意力融合模块在CA坐标注意模块用一维平均池化操作的基础上,通过并行一维最大值池化操作对所述信息特征进行增强提取,具体过程如下:CxHxW

步骤1:输入特征图X,进行两个并行的一维池化操作,其中X∈R ,C表示特征图的通道数,H表示特征图的高度,W表示特征图的宽度,所述一维池化操作包括一维平均池化和一维最大值池化,每个并行池化方法在沿宽度方向和沿高度方向上执行;

步骤2:将两种池化操作后的结果进行转置并沿着空间维度拼接,分别得到一个关注显著目标的中心区域的特征图和一个关注变化显著的边缘区域的特征图,接着对这两个特征图进行1x1卷积变换,后进行非线性激活操作,以增加非线性拟合能力;

H W

其中,表示ReLU激活函数,Conv1表示1×1卷积,avgz和avgz表示沿特征图的高度和H W宽度方向进行平均池化操作后得到的特征图,maxz 和maxz 表示沿特征图的高度和宽度方向进行最大值池化操作后得到的特征图,T表示转置操作,[·;·]表示转置后沿着空间维度进行连接操作,H表示特征图的高度,W表示特征图的宽度,Favg为平均池化的加强特征图,Fmax为最大池化的加强特征图;

步骤3:接着使用元素最大值操作,融合两个激活后的特征图信息;

F=max(Favg,Fmax)

其中,F为Favg和Fmax通过元素最大值操作融合后的特征图;

步骤4:在空间维度上对融合特征进行分解,得到高度方向和宽度方向的特征向量,随后,对这两个向量进行1x1卷积变换和非线性激活操作,得到高度和宽度方向的注意权值;

H H

S=σ(Conv1(F))

W w

S=σ(Conv1(F))

H w

其中,F和F 分别表示与F的高度和宽度相关的两个分解向量,σ表示sigmoid激活函数,H WConv1表示1×1卷积操作,S和S为高度和宽度方向的注意权值;

步骤5:将特征图X分别与高度方向上和宽度方向的注意力权重加权生成加强后的特征图;

H W

O(i,j)=X(i,j)×S(i)×S(j)

其中,i∈{1,2,…,H}和j∈{1,2,…,W}表示在高度方向和宽度方向上的具体位置,O(i,j)表示加强后的特征图;

步骤6:对输入到CMB坐标平均注意力融合模块中的两个输入特征计算得到坐标平均注意力图,对坐标平均注意力图执行soft‑max操作所得到各自的概率权重,并将其与输入特征相乘以对重要特征加权;

Xout=XA×ωA+XB×ωB

其中,XA表示第A个输入特征,XB表示第B个输入特征,ωA和ωB为对输入特征的坐标平均注意力图执行soft‑max所产生的概率权重,Xout是CMB坐标平均注意力融合模块最终的输出结果;

对输入SCM空间与通道注意力融合模块的特征计算空间注意力权重与通道注意力权重的具体过程如下:其中, 表示输入的特征,N表示位于MDDC多尺度密集空洞卷积模块的第N层,Conv表示卷积操作, 表示sigmoid激活函数,P(·)表示全局池化操作,L(·)表示正则化操作, 为经过通道注意力模块得到的权重特征图, 为经过空间注意力模块得到的权重特征图,k=1、2,表示输入的特征之一;

而注意融合操作表示为:

其中,M=2, 和 分别表示通过soft‑max操作对输入特征计算得到的通道注意力加权图和空间注意力加权图,接着, 和 便由如下公式得到:其中, 和 分别表示增强后的通道注意特征图和空间注意特征图, 是最终的输出,fc表示通道注意力特征,fs表示空间注意力特征,f表示最终输出特征。

2.根据权利要求1所述的一种基于分布式结构的红外与可见光图像融合方法,其特征在于,通过所述ECB边缘辅助修正模块对信息特征的边缘细节进行细化的具体过程如下:获取用于修正图像的边缘信息,其大小为m×n的边缘梯度映射 表示为:其中, 表示用于计算水平的线性运算符,h表示水平方向, 表示用于计算垂直第一层差的线性运算符,v表示垂直方向,ul(a)和ub(a)分别表示第a个源像素左侧l和下方b的最近邻居像素;

利用空间梯度滤波器对边缘细节进行优化,得到更明显的梯度信息,计算公式如下:其中, 为空间梯度滤波器,m、n均为常数,e是特征图的水平像素,q是特征图的垂直像素,max表示取最大值操作。

3.根据权利要求2所述的一种基于分布式结构的红外与可见光图像融合方法,其特征在于,网络通过构建包含强度损失与细节损失在内的总损失函数来共同约束融合目标,实现保留融合后的图像中可见光图像中的纹理细节和突出目标的红外热信息,所述总损失函数如下:Lfusion=αLintensity+βLdetail

其中,Lintensity表示强度损失函数,Lfusion表示细节损失函数,α为强度损失函数的超参数,β为细节损失函数的超参数。

4.根据权利要求3所述的一种基于分布式结构的红外与可见光图像融合方法,其特征在于,通过下式计算强度损失函数Lintensity:通过下式计算细节损失函数Ldetail:

其中,H表示特征图的高度,W表示特征图的宽度,max(·)表示元素的最大选择操作,|·|表示绝对值, 为红外与可见光图像的融合结果的像素值, 为红外图像的像素值, 为可见光图像的像素值,为sobel梯度算子。