利索能及
我要发布
收藏
专利号: 2024118770743
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于跨样本语义对比学习的遥感图像语义变化检测方法,其特征在于,包括:构建共享权重的孪生残差网络;

将原始的双时遥感图像对应裁剪成块,分别输入到孪生残差网络的对应分支中;

构建特征提取模块,并在孪生残差网络的第一阶段后嵌入特征提取模块,生成辅助融合特征图和抽象融合特征图;

构建变化检测模块,并将孪生残差网络的第三阶段中生成的中间特征输入至变化检测模块中,生成变化结果特征图;

构建多尺度特征金字塔融合模块,将辅助融合特征图、抽象融合特征图以及变化结果特征图输入至多尺度特征金字塔融合模块中,得到语义变化检测的最终结果。

2.根据权利要求1所述的基于跨样本语义对比学习的遥感图像语义变化检测方法,其特征在于,并在孪生残差网络的第一阶段后嵌入特征提取模块,生成辅助融合特征图和抽象融合特征图,包括:在孪生残差网络的某一时相分支中,将特征图 输入至第一阶段,生成特征图将特征图 经过7×7的卷积层,生成特征图 公式为:将特征图 通过三条支路,分别使用1×1卷积层、3×3卷积层和7×7卷积层进行特征提取,分别得到特征图 以及 公式为:在第一条支路中使用最大池化策略下采样,获得辅助融合特征图 公式为:式中,MaxPool2D表示最大池化函数;

将第二条支路和第三条支路生成的特征图利用低秩注意力机制融合模块进行融合,生成多尺度特征图Out;

将多尺度特征图Out直接嵌入特征图 得到特征图 并经过7×7卷积层后同辅助融合特征图 再次进行低秩注意力融合,得到抽象融合特征图 公式为:式中,LowRankAttn表示低秩注意力融合。

3.根据权利要求2所述的基于跨样本语义对比学习的遥感图像语义变化检测方法,其特征在于,将第二条支路和第三条支路生成的特征图利用低秩注意力机制融合模块进行融合,生成多尺度特征图Out,包括:将特征图 使用1×1的卷积层进行特征映射,得到查询特征q、匹配特征k和值特征v,公式分别为:对于匹配特征k和值特征v,使用4×4最大池化函数和16×16平均池化函数,分别获得个别突出信息和局部平均信息的特征表达,同时完成对原始特征图的尺度压缩,之后将突出信息和平均信息沿空间维度展平并连接,得到对应的特征图 和 公式分别为:式中,Concat表示连接,AvgPool2D表示平均池化函数;

将特征图 和查询特征q进行矩阵乘,并通过Softmax函数得到输入特征之间的关联权重,再和 进行相乘,生成多尺度特征图Out,公式为:

4.根据权利要求3所述的基于跨样本语义对比学习的遥感图像语义变化检测方法,其特征在于,并将孪生残差网络的第三阶段中生成的中间特征输入至变化检测模块中,生成变化结果特征图,包括:将孪生残差网络的第三阶段中生成的中间特征图分别记为 和 通过余弦相似度计算得到 的相似性权重Sim,公式为:式中,Cosine表示余弦相似度函数;

使用全1矩阵相减,获得差异性权重Dif,公式为:

Dif=1‑Sim

使用1×1的卷积层对 进行特征映射,再做差并取绝对值,之后再点乘相似性权重Sim,得到难分特征图At,公式为:沿通道方向级联特征映射后的 再乘以差异性权重Dif,最后通过1×1卷积层从通道层面进行融合,得到显著差异特征图Dt,公式为:对显著差异特征图Dt分别使用3×3的卷积核和5×5的卷积核,分别提取显著性信息并作为全局参考和难分特征图At进行注意力交互,得到变化区域图 公式为:将变化区域图 和 级联并使用1×1的卷积层进行通道融合,并以残差连接的形式嵌入显著差异特征图Dt,得到细粒度的变化结果特征图Ot,公式为:

5.根据权利要求4所述的基于跨样本语义对比学习的遥感图像语义变化检测方法,其特征在于,将辅助融合特征图、抽象融合特征图以及变化结果特征图输入至多尺度特征金字塔融合模块中,得到语义变化检测的最终结果,包括:将辅助融合特征图对 沿时序维度进行级联,并使用3D卷积进行特征提取,再通过十字注意力机制完成双时相融合特征在空间维度的关系捕捉,得到时空特征更全面的辅助特征图Ft,公式为:式中,CrissCrossAttn表示十字注意力机制;

将抽象融合特征图对 沿时序维度进行级联,并使用3D卷积进行时序性特征提取,使用低秩注意力机制将变化结果特征图Ot融入全局语义信息中,得到抽象特征图Ht,公式为:将变化结果特征图Ot分别通过两条分支产出通道级别的缩放因子β和空间层面的偏移矩阵γ,其中β基于变化结果特征图Ot各通道层面的平均变化信息,通过全局平均池化层和线性层投影得到,公式为:β=Linear(GlobalAvgPool2D(Ot))式中,GlobalAvgPool2D表示全局平均池化操作,Linear表示线性操作;

γ通过上采样后的1×1卷积映射及Tanh门控函数获得,公式为:γ=Tanh(Conv1×1(Upsample2×(Ot)))式中,Upsample表示上采样操作;

通过缩放因子β和偏移矩阵γ,显式构造一个线性变换过程将Ft投影到变化特征空间中,得到具备语义一致性的变化检测特征图Ct,公式为:Ct=Upsample(Conv1×1(β⊙(1+γ)⊙Ft+Ht))分别将辅助融合特征图 和抽象特征图Ht上采样后得到的特征进行通道级联,并通过1×1的卷积层进行通道聚合,得到语义分割结果 和 公式为:将生成的双时相语义分割结果 和变化检测特征图Ct分别送入预测头中,生成语义变化检测的最终结果。

6.根据权利要求5所述的基于跨样本语义对比学习的遥感图像语义变化检测方法,其特征在于,将生成的双时相语义分割结果 和变化检测特征图Ct分别送入预测头中,生成语义变化检测的最终结果包括:将变化检测特征图Ct通过双线性插值上采样和卷积,再应用Sigmoid函数,得到特征图C,公式为:C=Sigmoid(Conv1×1(BN(Conv1×1(Upsample(Ct)))))式中,BN表示批归一化操作;

对 分别进行上采样,再使用Softmax函数获得像素级别的语义标签[S1,S2],公式为:将特征图C和语义标签[S1,S2]进行点乘,得到语义变化检测结果。

7.根据权利要求1所述的基于跨样本语义对比学习的遥感图像语义变化检测方法,其特征在于,损失函数由对比损失LCON、交叉熵损失LCD和组合损失LSS组成,公式为:L=LCD+LSS+LCON

其中:

式中,y为真实标签,为预测序列,‖·‖表示向量的模,LPair表示同样本对之间的损失,LCross表示跨样本对之间的对比损失,m和n为批次维度的下标。