利索能及
我要发布
收藏
专利号: 2024111344938
申请人: 江苏海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:该方法包括以下步骤:

S1.将全色图像PAN输入至DDPM进行特征提取,将多光谱图像MS输入至Transformer网络进行特征提取,同时将PAN和MS在通道维联结后输入至编码器进行特征提取;

S2.将分别经由DDPM和Transformer网络提取到的全色图像的空间信息特征和多光谱图像的光谱信息特征逐层式集成到编码器网络中进行特征整合;

S3.将整合后的特征输入至解码器中,同时将在编码器中逐层式集成和整合后的特征再进一步逐层式集成到解码器中进行特征融合和重构;

S4.将重构后的特征输入至融合模块中,从而得到融合图像;

所述S1中DDPM、Transformer、编码器的网络结构分别如下:

S1‑1:DDPM支路网络结构的主体结构为“U”型网络,卷积层由两层卷积组成;下采样层与上采样层均由一层用于下采样或上采样的卷积与一层注意力层组成;

S1‑2:Transformer支路网络结构由一个光谱注意力层与五个Transformer层组成;光谱注意力层的网络结构由一个平均池化模块、一个最大池化模块与一个多层感知器构成;

S1‑3:编码器网络由一个卷积模块与五个串联的编码器模块组成,其中,卷积模块由一个卷积层、一个批处理归一化层与激活函数层组成。

2.根据权利要求1所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:所述S1‑1中DDPM支路网络结构中每一层的特征图在进行下采样前,与经跳跃连接后的上一层级特征图、对应层级的特征图一起在通道维度进行堆叠,并将堆叠后的混合特征图输入到对应层级的上采样卷积层中;在上采样过程中,将DDPM每一层的特征图输出集成到编码器支路中,以增强编码器支路的空间特征信息。

3.根据权利要求1所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:所述S1‑2中Transformer支路网络结构的运行过程为:步骤1:多光谱图像输入到光谱注意力层后,分别经过平均池化模块与最大池化模块处理,并将经两模块处理后的结果在通道维度联结;

步骤2:将通道维度联结的结果输入到多层感知器中,将多层感知器的输出与源多光谱图像进行点乘操作;

步骤3:将经点乘操作处理后的结果与源多光谱图像进行像素矩阵的数值相加,即得到光谱注意力层的输出结果;

步骤4:将光谱注意力层的输出结果输入到五个串联的Transformer模块中。

4.根据权利要求3所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:所述步骤4中的Transformer模块中,输入的特征图首先经过一个由卷积层、批处理归一化层与激活函数层组成的卷积模块,以提取特征并保持特征图的尺寸与后续处理需要的尺寸一致;然后将特征图输入到Transformer网络中,其中每一层Transformer包含层归一化、基于窗口的多头自注意力或基于移动窗口的多头自注意力、多层感知;接下来,将每个Transformer层输出的特征图单独保留,并逐层集成到编码器支路中,以增强编码器支路的光谱特征信息。

5.根据权利要求1所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:所述S1‑3中的编码器网络中,卷积模块中卷积层的网络参数为:卷积核大小为3、步长为1、卷积核数量为64,卷积模块输出的特征图与经由DDPM支路输出的增强空间特征图、经由Transformer支路输出的增强光谱特征图联结后,输入到编码器模块中。

6.根据权利要求1所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:所述S3中的解码器网络由五个卷积模块与一个融合模块组成,除第一个卷积模块外,后续的四个卷积模块的输入均为上一层级解码器卷积模块的输出特征图,与对应层级的编码器模块输出的增强特征图联结后的特征图,以实现浅层和深层特征信息的交互,最后一个解码器卷积模块输出的特征图将输入到融合模块中,融合模块的输出结果,即为最终的融合图像。

7.根据权利要求1所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:所述S4中的融合模块由四个卷积块组成,其中前三个卷积块均包括卷积层、批归一化层、和激活函数;最后一个卷积块由一个卷积层和一个激活函数层构成。

8.根据权利要求1所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:通过损失函数优化编码器‑解码器网络模型,其中损失函数由强度损失、梯度损失和光谱损失三部分构成。

9.根据权利要求8所述的一种基于去噪扩散概率模型与Transformer的遥感图像空谱融合方法,其特征在于:损失函数的具体形式如下式(1)所示:L=aLint+bLgrad+cLspectrum   (1)

其中L为总损失函数,Lint为强度损失,Lgrad为梯度损失,Lspectrum为光谱损失;a、b、c分别为平衡强度损失、梯度损失、光谱损失的系数;

强度损失具体定义如式(2)所示:

其中H、W分别为图像的高与宽,i、j表示图像的像素点坐标;IF表示融合图像,IMS表示源多光谱图像;|·|表示绝对值;

梯度损失定义如式(3)所示:

其中,与强度损失不同的是,IF‑AP表示经过平均池化处理后的融合图像,IPAN表示源全色图像; 表示梯度算子;

光谱损失如式(4)所示:

其中M1表示全1矩阵,<·>表示内积操作,||·||2表示2范数;

简言之,通过对融合图像与源多光谱图像进行强度损失和光谱损失的计算来实现损失函数对融合图像光谱一致性的约束;与此同时,通过对融合图像与源全色图像进行梯度损失的计算来实现损失函数对融合图像空间一致性的约束。