利索能及
我要发布
收藏
专利号: 2025100133482
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-21
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于,包括以下步骤:接收遥感缺失图像作为源图像;

构建生成器,将遥感缺失图像输入生成器进行初步处理,其中生成器包括特征提取器、ConformerPlus模块和云检测模块,且ConformerPlus模块中嵌入有新多头自注意力机制;

构建自适应图像修复模块,将初步处理的遥感缺失图像输入自适应图像修复模块进行进一步处理,得到修复后的图像数据;

构建多尺度模块鉴别器,将修复图像和遥感缺失图像使用concat连接并输入多尺度模块鉴别器以对修复图像进行真假判定;

使用条件GAN损失函数、标准损失函数、云掩模损失函数对修复图像与源图像之间的差异进行计算,通过反向传播更新梯度,逐步优化模型参数;

使用峰值信噪比和结构相似性指数作为定量评估指标对生成器、自适应图像修复模块、构建多尺度模块鉴别器构成的整体网络模型性能进行全面评估;

保存经过训练后的整体网络模型,并利用整体网络模型进行图像修复。

2.根据权利要求1所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于,构建生成器,将遥感缺失图像输入生成器进行初步处理,具体如下:(21)生成器的输入为三张存在云层遮挡的遥感图像,定义为 ,选取其中一张有云图像作为参考图像,记为y,在此基础上,给定 ,模型学习生成一张无云图像 ,该图像 在未缺失区域与参考图像y保持高相似度;

(22)输入图像 首先通过特征提取模块进行处理,提取出三个特征表示 ,这些特征表示在时域和空间域中建模了输入图像的局部和全局信息,为后续的无云图像生成奠定了特征基础,即:三个特征表示 均被concat层相互融合起来得到三个并列的特征表示,即:

式中 分别被传递到单个编码器管道,编码器分别对

进行编码,并通过Concat层融合编码器输出的特征表示 ,对图像进行解码,输出无云的图像修复结果 ,其中编码器和解码器分别是步幅为2的卷积层。

3.根据权利要求2所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于:所述特征提取器用于对遥感缺失图像进行时谱域特征进行提取融合,模型具体如下:(31)采用基于时序自注意力机制的特征提取器,该提取器通过对图像中各位置的特征进行动态编码,全面整合全局语义信息与局部细节特征,以应对遥感场景中复杂地物分布及云层遮挡;

(32)通过一维线性变换层对图像数据的时域与光谱特征进行扩展,以形成融合两者信息的综合特征向量;

(33)将这些向量输入包含单编码器的Transformer模型,其中通过残差连接和归一化操作增强特征的稳定性与传递效率;

(34)多头注意力机制进一步捕捉特征之间的全局和局部依赖关系,前馈神经网络对高维特征表达进行精细化提炼;

(35)在编码过程中引入Dropout操作,以提升模型的泛化能力;

(36)通过一维线性变换将高维特征投影回一维空间,生成三个代表性的时域‑光谱特征向量。

4.根据权利要求3所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于:所述ConformerPlus模块用于对多尺度特征进行增强以捕捉复杂的上下文关系,所述ConformerPlus模块融合了卷积神经网络、新多头自注意力模块与Transformer架构;

其中新多头自注意力模块基于Conformer模块的基础上设计,且新多头自注意力模块中引入新的注意力权重张量;

ConformerPlus模块将新多头自注意力模块与卷积层嵌入到两个前馈神经网络之间用于提升模型的性能和鲁棒性,其中前馈神经网络包含两个线性变换和一个非线性激活函数,全局特征提取网络由 个ConformerPlus模块组成,对于第 个ConformerPlus模块的输入 ,其中间变量和输出 可通过以下公式获得:其中输入张量 通过前馈神经网络FFN,前馈神经网络FFN包含两个全连接层、Swish 激活函数和 dropout 正则化; 是融合了yi的信息和经过多头注意力机制提取出的特征信息,是一个含注意力特征的融合值, 是经过卷积层挖掘的特征和 的特征信息进行的融合值;NMHSA为新多头自注意力模块,Conv为卷积层,LayerNorm 表示对输入数据的归一化处理。

5.根据权利要求4所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于:所述云检测模块用于对输入图像中云层分布位置进行识别并标记,具体如下:(51)通过分析输入图像特征,生成对应的云掩模,以明确标识云覆盖区域和潜在信息缺失或遮挡区域;

(52)基于生成的云掩模,对源图像与目标图像之间的选择性对比,仅关注未被云层遮挡的区域。

6.根据权利要求5所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于,构建自适应图像修复模块,将初步处理的遥感缺失图像输入自适应图像修复模块进行进一步处理,模型具体如下:所述自适应图像修复模块包括随机噪声消除模块和局部对比增强模块,其中噪声消除模块基于深度卷积网络架构构建,噪声消除模块中引入批量归一化层和残差块用于增强对噪声的感知与去除能力;

局部对比增强模块用于提取高级特征,在处理时局部对比增强模块通过卷积网络提取特征,并利用 Tanh 激活函数对输出进行归一化处理。

7.根据权利要求6所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于,构建多尺度模块鉴别器,将修复图像和遥感缺失图像使用concat连接并输入多尺度模块鉴别器以对修复图像进行真假判定,具体如下:(71)图像数据经过尺寸为 256×256×32 的特征图处理,输出初始判别概率 P1;

(72)图像数据依次通过尺寸为 128×128×64 和 64×64×128 的特征图,生成第二层判别概率 P2;

(73)特征图进一步压缩至 32×32×256 和 16×16×512 的尺寸,输出第三层判别概率 P3;

(74)在特征提取过程中,所有卷积操作均采用尺寸为 4×4 的卷积核,步长设定为 2,并结合 LeakyReLU 激活函数以引入非线性特性,用于在不同尺度上高效提取图像特征;

(75)在获得 P1、P2和 P3三个分层判别概率后,数据进一步通过最后一层特征图处理,该层尺寸为 1×1×1,步长设定为 1,并结合 Sigmoid 激活函数,生成判别概率 P4;

(76)将生成图像划分为多个独立的图像块,假设每个图像块内的像素相互独立,对每个图像块单独进行真假判定,然后通过对所有图像块的判定结果取平均值,得到整幅图像的整体真假评估结果。

8.根据权利要求7所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于,使用条件GAN损失函数、标准损失函数、云掩模损失函数对修复图像与原始遥感缺失图像之间的差异进行计算,通过反向传播更新梯度,逐步优化模型参数,具体如下:(81)采用损失函数包括三部分,条件GAN损失函数、标准 损失函数、云掩模损失函数,定义为:式中L是总损失函数, 表示对生成器和自适应图像修复模块参数的最小化操作,分别表示对判别器参数的最大化操作;LcGAN(GP,D)是条件生成对抗网络的损失,是梯度惩罚系数, 表示 的范数损失,Lmask为云掩码损失, 是云掩码计算的损失;D表示多尺度模块鉴别器,参数G和P分别表示生成器和自适应图像修复模块;

(82)其中,第一部分为条件GAN损失函数,定义为:

式中, 是条件生成对抗网络的损失, 和 分别表示对真实数据

和生成数据的期望,D 是判别器对真实数据的输出, 是生成器和自适应图像修复模块联合对生成数据的输出;

(83)第二部分为标准 损失函数,定义为:

式中 分别表示通道数、宽度和高, 是真实数据在坐标 处的像

素, 表示生成的输出图像在坐标 处的像素;

(84)第三部分是云掩模损失函数,定义为:

式中Lmask为云掩码损失,M和M′分别为真实有云掩模和生成云掩模。

9.根据权利要求8所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于,使用峰值信噪比和结构相似性指数作为定量评估指标对生成器、自适应图像修复模块、构建多尺度模块鉴别器构成的整体网络模型性能进行全面评估,具体如下:(91)采用峰值信噪比和结构相似性指数作为定量评估指标,峰值信噪比计算最大信号和背景噪声之间的比值,是衡量图像质量的质量指标,定义为:其中:n为每个采样值的比特数;MSE为均方误差值;质量指标PSNR值越大,图像去云的效果越好;

(92)结构相似性指数是用来衡量两幅图像相似度的指标,结构相似度从亮度、对比度、结构三个方面进行度量,均值作为亮度的估计,标准差作为对比度的估计,协方差作为结构相似程度的度量,定义为:其中, 为结构相似性指数, 和 分别为 的平均值; 和 分别为

的标准差; 为 的协方差; 分别为常数,避免分母为0导致计算错误。

10.一种基于时谱域融合与时序自注意力增强的遥感云层修复系统,用于实现权利要求1至9中任一项所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法,其特征在于,包括:数据接收单元,用于接收遥感缺失图像作为源图像;

生成器构建单元,用于构建生成器,将遥感缺失图像输入生成器进行初步处理,其中生成器包括特征提取器、ConformerPlus模块和云检测模块,且ConformerPlus模块中嵌入有多头自注意力机制;

自适应图像修复模块构建单元,用于构建自适应图像修复模块,将初步处理的遥感缺失图像输入自适应图像修复模块进行进一步处理,得到修复后的图像数据;

判定单元,用于构建多尺度模块鉴别器,将修复图像和遥感缺失图像使用concat连接并输入多尺度模块鉴别器以对修复图像进行真假判定;

误差计算单元,用于使用条件GAN损失函数、标准损失函数、云掩模损失函数对修复图像与源图像之间的差异进行计算,通过反向传播更新梯度,逐步优化模型参数;

评估单元,用于使用峰值信噪比和结构相似性指数作为定量评估指标对生成器、自适应图像修复模块、构建多尺度模块鉴别器构成的整体网络模型性能进行全面评估;

修复输出单元,用于保存经过训练后的整体网络模型,并利用整体网络模型进行图像修复。