利索能及
我要发布
收藏
专利号: 2024116134527
申请人: 江苏海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于语义分割驱动和多尺度特征交互的红外与可见光图像融合方法,其特征在于,包括以下步骤:S1、分别获取原始图像的红外图像、以及可见光图像,分别进行特征提取,得到红外图像多尺度特征图、以及对应的可见光多尺度特征图;

S2、通过预构建特征融合模块与注意力机制结合,得到的深度特征融合模块,对红外图像多尺度特征图、对应的可见光多尺度特征图进行融合,得到深度融合特征;具体包括如下内容:S21、设定特征融合模块的数量,并按照预设的顺序进行连接,并设置对应的卷积核大小;

S23、输入红外图像多尺度特征图、对应的可见光多尺度特征图,进行至少3次迭代处理,输出对应的输出张量对;

S24、对所述步骤S23中得到的张量对进行相加,输出特征表示,得到深度融合特征;

所述深度特征融合模块和特征融合模块的表达式为:

其中,FS和FC分别表示空间特征和通道特征,F、S、C分别表示feature特征,space空间,channel通道,FF表示特征融合,C表示拼接操作,SA(·)表示空间注意力,CA(·)表示通道注意力,Conv1(·)表示卷积核大小为1的卷积操作;SA(·),CA(·)的表达式如下:SA(x)=Sig(Conv3(C{Max(x),Avg(x)}))×xCA(y)=Sig(FC(AP(y))+FC(MP(y))×y其中,x表示空间注意力的输入,y表示通道注意力的输入,Max(·)表示求最大值操作,Avg(·)表示求平均值操作,Conv3(·)表示卷积核大小为3的卷积操作,Sig(·)表示sigmoid激活函数操作,AP(·)表示平均池化操作,MP(·)表示最大池化操作,FC(·)表示全连接;

和 分别表示在多尺度特征提取块五个阶段获得的红外、可见光图像多尺度特征, 和 是第i个阶段获得的多尺度特征迭代j次后的特征, 是深度特征融合模块的最终输出;

S3、通过预构建的多尺度特征交互模块,处理深度融合特征,得到信息交互融合特征;

具体包括如下内容:

使用三个多尺度特征交互模块分别对深度融合特征 做初步处理,并进行交互得到 使用第四个多尺度特征交互融合模块对交互后的特征 再次处理得到交互特征 对应的函数表达式为:其中,MFI表示多尺度特征交互操作,其函数表达式为:

MFI{x,y,z}=Conv1(C({DC(Down(x)),DC(y),DC(Up(z))}))其中,Down(·)表示下采样操作,Up(·)表示上采样操作,DC(·)表示密集链接操作;

S4、通过预构建优化后的Transformer模块,处理信息交互融合特征,得到信息交互融合特征的全局上下文信息;具体包括如下内容:在Transformer块的基础上优化了特征处理方法,并引入基于卷积的局部特征提取通道,以实现更全面的特征提取,优化后的Transformer块的函数表达式为:其中,T(·)表示Transformer操作,FT表示经过Transformer块的特征;

S5、通过特征重组模块,对经过步骤S4处理后得到的全局上下文信息、以及对应的信息交互融合特征进行重组和优化,得到优化融合图像;

S6、通过预构建的语义分割,对步骤S5得到的优化融合图像进行语义信息提取并保留,输出语义融合图像;

S7、通过预构建的联合损失函数,输入步骤S6得到的语义融合图像、以及步骤S5得到优化融合图像,输出处理图像;

S8、对步骤S1至步骤S7的处理设置迭代次数,输出经过迭代处理后的图像作为红外与可见光融合图像。

2.如权利要求1所述的基于语义分割驱动和多尺度特征交互的红外与可见光图像融合方法,其特征在于,步骤S1进一步为:使用两个并行的尺度特征提取模块分别处理红外图像、对应的可见光图像;其中,所述尺度特征提取模块至少使用5个卷积块,所述卷积块的通道数设置为32;第一个卷积块、第二个卷积块、第五个卷积块保持原始分辨率;第二个卷积块继续保持原始分辨率,第三个卷积块、第四个卷积块进行2倍下采样。

3.如权利要求1所述的基于语义分割驱动和多尺度特征交互的红外与可见光图像融合方法,其特征在于,步骤S6到步骤S7的进一步内容为:引入语义分割框架,在所述框架内,将分割损失函数与融合损失函数结合,得到联合损失函数来进行训练,联合损失函数的表达式为:LJ=LF+αLS

其中,LJ、LF和LS分别表示联合损失函数、融合损失函数和分割损失函数,α表示超参数,用来控制LF和LS之间的比例大小;LF是结合像素强度损失LP、细节损失LD设计的,其对应的函数表达式如下:LF=LP+βLD

其中,β表示超参数,用来控制LP和LD之间的比例大小;LP和LD分别用来衡量生成图像与真实图像在像素级别上的差异和保持图像中的细节和纹理信息,其函数表达式如下:其中,H表示图像的高度,W表示图像的宽度,max(·)表示计算元素最大值的操作;

LS用来增加融合图像中的语义信息,其函数体表达式如下:

LS=LMain+λLAux

其中,λ为超参数,LMain表示主分割损失,LAux表示辅助分割损失,其函数表达式如下:其中,C表示图像的通道数,IS表示主输出,ISa表示辅助输出,ISo表示独热编码向量。

4.基于语义分割驱动和多尺度特征交互的红外与可见光图像融合系统,其特征在于,包括:至少一个处理器;以及,与至少一个所述处理器通信连接的存储器;其中,

所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1至3任一项所述的基于语义分割驱动和多尺度特征交互的红外与可见光图像融合方法。