利索能及
我要发布
收藏
专利号: 2023113312388
申请人: 江苏海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,该方法包括以下步骤:S1:使用引导滤波器将源图像进行分解,得到多光谱基础层、多光谱细节层、全色基础层和全色细节层,并针对全色图像与多光谱图像各自的特性分别采用不同的分解策略;

S2:将多光谱基础层与全色基础层在通道维度堆叠,得到输入基础层图像;将多光谱细节层与全色细节层在通道维度堆叠,得到输入细节层图像;

S3:对包含主要纹理信息的细节层图像,使用卷积神经网络实现纹理信息的特征提取;

S4:对含有部分纹理细节信息和较多光谱信息的基础层图像,使用Transformer网络进行特征提取,并将S3中提取的特征与此步提取的特征进行融合,然后基于融合的特征进行图像重建,从而得到融合后的具有丰富纹理信息与光谱信息的融合图像,以作为生成器的输出结果;

S5:将生成器输出的融合图像进行引导滤波分解,得到融合图像的基础层图像与细节层图像,并将其基础层图像与经过平均值计算的源图像基础层、其细节层图像与经过最大值计算的源图像细节层分别输入到基础层判别器、细节层判别器中,从基础层信息、细节层信息两个层面对输入的融合图像与源图像进行判别;

S6:通过生成器与基础层判别器和细节层判别器不断地对抗与优化训练,直至基础层判别器与细节层判别器均无法辨别出生成器生成的融合图像,得到最终的融合结果。

2.根据权利要求1所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S1中采用不同的分解策略为:全色图像的空间分辨率较高,将其自身作为引导滤波器的引导图像;而多光谱图像由于其光谱分辨率高和光谱信息丰富但纹理特征模糊,对多光谱图像进行主成分分析,并将其主成分图像作为引导图像。

3.根据权利要求1所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S4中生成器的网络结构由以下部分组成:S4‑1:基础层支路:用于从基础层图像中提取光谱信息特征;

S4‑2:细节层支路:用于从细节层图像中提取纹理细节特征。

4.根据权利要求1所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S6中生成器的训练使用了一个损失函数,该损失函数由对抗损失、内容损失和光谱损失组成;

S6‑1‑1:对抗损失定义为生成器与基础层判别器及细节层判别器之间的对抗关系;

S6‑1‑2:内容损失包括强度损失、梯度损失和结构相似性损失,其中强度损失涉及融合图像的强度与源图像的强度之间的比较,梯度损失涉及融合图像的梯度与源图像梯度之间的比较,结构相似性损失涉及融合图像与源图像之间的结构相似性;

S6‑1‑3:光谱损失涉及多光谱图像与融合图像之间的光谱相似性;

S6‑1‑4:损失函数的计算公式为:LG=Ladv+λ1Lcontent+λ2Lspectrum其中,LG表示生成器G的总损失,Ladv表示生成器G与基础层判别器Dbase、细节层判别器Ddetail之间的对抗损失,Lcontent表示融合图像的内容损失,Lspectrum表示光谱损失,λ1,λ2分别为调节内容损失和光谱损失所占比重的权系数。

5.根据权利要求1所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S6中判别器的训练使用了一个损失函数,该损失函数由基础层判别器损失和细节层判别器损失两部分组成,其计算公式为:S6‑2‑1:基础层判别器的损失 为:

其中,Dbase表示基础层判别器,Dbase(·)表示基础层判别器对输入图像真假的判断值;

Ibase‑mean表示多光谱图像基础层与全色图像基础层的进行平均值处理得到的图像, 为融合图像的基础层;E(·)代表求数学期望值;

S6‑2‑2:细节层判别器损失 为:

其中,Ddetail表示细节层判别器,Ddetail(·)表示细节层判别器对输入图像真假的判断值;Idetail‑max表示多光谱图像细节层与全色图像细节层的进行最大值处理得到的图像,为融合图像的细节层;E(·)代表求数学期望值。

6.根据权利要求3所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S4‑1中的基础层支路由两个Conv Block和三个Transformer Block组成;

S4‑1‑1:第一个Conv Block用于初步提取浅层信息,其输入为包括4个多光谱通道与1个全色通道的基础层图像,卷积核大小设置为3×3,步长为1,卷积核个数为96;

S4‑1‑2:得到的特征图被输入到三个结构相同的Transformer Block中,且在多个Transformer Block之间采用残差连接;

S4‑1‑3:每个Transformer Block由两个相同的Swin Transformer Layer组成,其中Swin Transformer Layer包含两个多层感知机MLP、一个基于窗口的多头自注意力机制W‑MSA与一个基于移动窗口的多头自注意力机制SW‑MSA,并在每个多头自注意力机制与每个多层感知机前添加一个层归一化LN,在每个模块后采用残差连接。

7.根据权利要求3所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S4‑2中的细节层支路采用卷积神经网络进行细节层图像中的清晰纹理信息的特征提取,每个卷积层之间采用跳跃连接,每个卷积块都包含批处理归一化并采用ReLU函数作为激活函数;细节层支路与基础层支路的输出特征图大小相同,两个支路的输出特征图进行相加并送入卷积核大小为3×3、步长为1、卷积核个数为4的图像重建层,采用Tanh激活函数,得到生成器的最终输出融合图像。

8.根据权利要求6所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S4‑1‑2中Transformer Block的网络结构包括以下特征:S4‑1‑2‑1:每个Transformer Block的输入为形状固定的128×128×96的特征图,特征图首先被8×8的局部窗口分割成256个8×8×96的特征图,然后对每个窗口特征图Fwindow分别做多头自注意力计算;通过自注意力机制计算得到局部窗口的注意力矩阵;接着将多头自注意力输出的注意力矩阵送入层归一化中,然后送入到多层感知机中进行位置编码与特征映射的非线性变换,最终得到具有全局特征的特征图;

S4‑1‑2‑2:多头自注意力计算的计算过程中的查询特征矩阵Q、键特征矩阵K和值特征矩阵V分别表示为:Q=Fwindow·MQ

K=Fwindow·MK

V=Fwindow·MV

其中MQ、MK、MV为投影矩阵;

S4‑1‑2‑3:通过自注意力机制计算得到局部窗口的注意力矩阵,其计算过程表示为:其中S(·)表示归一化指数函数;d表示维度;p表示可学习的相对位置编码。

9.根据权利要求1所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S5的基础层判别器和细节层判别器组成判别器,判别器由以下部分组成:S5‑1:基础层判别器和细节层判别器两者的网络结构相同,每个判别器包含五个卷积层;

S5‑2:五个卷积层中每个卷积层的核大小为3×3,输入通道数依次为4、16、32、64、128,步长均为2,五个卷积层之后连接一个全连接层并采用Tanh激活函数;

S5‑3:基础层判别器的输入是源多光谱图像基础层与源全色图像基础层经平均值化处理后的基础层图像和融合图像的基础层;

S5‑4:细节层判别器的输入是源多光谱图像细节层与源全色图像细节层经最大值化处理后的细节层图像和融合图像的细节层。

10.根据权利要求4所述的基于GAN和Transformer的全色与多光谱遥感图像融合方法,其特征在于,所述S6‑1‑4中对抗损失Ladv的具体计算公式为:其中,Dbase表示基础层判别器,Ddetail表示细节层判别器; 表示生成器生成的融合图像IF的基础层图像, 表示IF的细节层图像;a为平衡Dbase与Ddetail的权重系数;

所述S6‑1‑4中内容损失Lcontent的具体计算公式为:

Lcontent=αLint+βLgrad+γLSSIM

其中,Lint为强度损失,Lgrad为梯度损失,LSSIM为结构相似性损失,α、β、γ为平衡三者的权重系数,Lint的定义如下:其中,H、W表示输入图像的高和宽,ω为权重系数,Lint‑base表示融合图像基础层 与全色图像基础层 多光谱图像基础层 之间的基础层强度损失,Lint‑detail表示融合图像细节层 与全色图像细节层 多光谱图像细节层 之间的细节层强度损失,具体定义为:

其中,b均为平衡两项的权重系数,||·||F为F范数,内容损失Lcontent的第二项梯度损失Lgrad的具体定义为:其中,Lgrad‑base表示融合图像基础层 与全色图像基础层 多光谱图像基础层之间的基础层梯度损失,Lgrad‑detail表示融合图像细节层 与全色图像细节层多光谱图像细节层 之间的细节层梯度损失,具体定义为:

其中,内容损失Lcontent的第三项结构相似性损失LSSIM的具体定义为:LSSIM=ωLSSIM‑base+(1‑ω)LSSIM‑detail其中,LSSIM‑base表示融合图像基础层 与全色图像基础层 多光谱图像基础层之间的基础层结构相似性损失,LSSIM‑detail表示融合图像细节层 与全色图像细节层多光谱图像细节层 之间的细节层结构相似性损失,具体定义为:其中,LSSIM(·)表示两项的结构相似性;

所述S6‑1‑4中光谱损失Lspectrum的具体计算公式为:

Lspectrum=Lspectrum‑base+Lspectrum‑detail其中Lspectrum‑base表示多光谱图像基础层与融合图像基础层之间的基础层光谱损失,Lspectrum‑detail表示多光谱图像细节层与融合图像细节层之间的细节层光谱损失,具体定义为:其中,I均为全1矩阵;<·>为两项内积;||·||2为2范数。