利索能及
我要发布
收藏
专利号: 2025105348512
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,所述基于双流时相特征适配器的遥感图像变化检测方法包括:S1、获取前时相的遥感图像和后时相的遥感图像;

S2、将所述前时相的遥感图像和所述后时相的遥感图像作为编码器的输入,通过编码器的预训练基础视觉Transformer模型骨干网络与两条时相特征适配器路径进行n个阶段的双向动态融合特征提取处理,获得n个阶段的前时相全局上下文特征图和后时相全局上下文特征图,其中,所述预训练基础视觉Transformer模型骨干网络包括补丁嵌入层和n个依次连接的block处理块,每条时相特征适配器路径上包括多个卷积层和n个依次连接的双向门控模块,每一个block处理块对应与每条时相特征适配器路径上的一个双向门控模块进行一个阶段的双向动态融合特征提取处理,获得该阶段的前时相全局上下文特征图和后时相全局上下文特征图,n为正整数;

S3、分别将n个阶段的前时相全局上下文特征图和后时相全局上下文特征图输入到解码器进行解码,得到前后时相的遥感图像的变化检测掩膜;

所述将所述前时相的遥感图像和所述后时相的遥感图像作为编码器的输入,通过编码器的预训练基础视觉Transformer模型骨干网络与两条时相特征适配器路径进行n个阶段的双向动态融合特征提取处理,获得n个阶段的前时相全局上下文特征图和后时相全局上下文特征图,包括:所述前时相的遥感图像输入所述编码器的第一条时相特征适配器路径中的多个卷积层进行处理,获得不同分辨率的前时相特征图;

所述后时相的遥感图像输入所述编码器的第二条时相特征适配器路径中的多个卷积层进行处理,获得不同分辨率的后时相特征图;

所述前时相的遥感图像和所述后时相的遥感图像输入所述编码器的预训练基础视觉Transformer模型骨干网络的补丁嵌入层进行处理,获得前时相高维向量序列和后时相高维向量序列;

基于所述不同分辨率的前时相特征图、所述不同分辨率的后时相特征图、所述前时相高维向量序列和所述后时相高维向量序列,通过n个block处理块和两条时相特征适配器路径上的n个双向门控模块进行n个阶段的双向动态融合特征提取处理,获得n个阶段的前时相全局上下文特征图和后时相全局上下文特征图。

2.根据权利要求1所述的基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,每一个阶段的处理方式相同,上一个阶段的输出为下一个阶段的输入;

第一个阶段的处理过程为:

基于所述不同分辨率的前时相特征图、所述前时相高维向量序列和第一个block处理块输出的第一个阶段的前时相全局上下文特征图,通过第一条时相特征适配器路径中的第一个双向门控模块进行处理,获得第一阶段的前时相融合特征图和相加后前时相融合特征图,其中,第一阶段的前时相融合特征图输入到第一个block处理块中,第一阶段的相加后前时相融合特征图输入到第一条时相特征适配器路径中的第二个双向门控模块中;

基于所述不同分辨率的后时相特征图、所述后时相高维向量序列和第一个block处理块输出的第一个阶段的后时相全局上下文特征图,通过第二条时相特征适配器路径中的第一个双向门控模块进行处理,获得第一阶段的后时相融合特征图和相加后时相融合特征图,其中,第一阶段的后时相融合特征图输入到第一个block处理块中,第一阶段的相加后时相融合特征图输入到第二条时相特征适配器路径中的第二个双向门控模块中;

基于所述前时相高维向量序列和所述后时相高维向量序列、第一阶段的前时相融合特征图和第一阶段的后时相融合特征图,通过第一个block处理块进行处理,获得第一个阶段的前时相全局上下文特征图和后时相全局上下文特征图,其中,第一个阶段的前时相全局上下文特征图输入到第二个block处理块和第一条时相特征适配器路径中的第一个双向门控模块中,第一个阶段的后时相全局上下文特征图输入到第二个block处理块和第二条时相特征适配器路径中的第一个双向门控模块中。

3.根据权利要求2所述的基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,每个双向门控模块的结构相同,所述双向门控模块包括多感受野特征金字塔模块、动态时序感知增强模块、第一双向交互模块和第二双向交互模块;

其中,所述多感受野特征金字塔模块用于基于不同大小的感受野对输入的特征图进行处理形成多尺度特征图;所述动态时序感知增强模块用于对所述多感受野特征金字塔模块输出的多尺度特征图进行处理,构建单一时相内部的时序特征,生成增强后的多尺度特征图;第一双向交互模块用于将当前阶段的所述动态时序感知增强模块的输出与上一阶段的block处理块输出的特征图进行交互融合并输出当前阶段的第一融合特征图;第二双向交互模块用于将当前阶段的所述动态时序感知增强模块的输出与当前阶段的block处理块输出的特征图进行交互融合并输出当前阶段的第二融合特征图;将当前阶段的所述动态时序感知增强模块的输出与当前阶段的第二融合特征图进行相加操作,得到当前阶段的相加后融合特征图。

4.根据权利要求3所述的基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,所述多感受野特征金字塔模块将接收的特征图经过第一个线性投影层进行降维,将降维后的特征图沿通道维度分割为多个组,每个组对应不同大小的感受野,每个组再通过深度可分离卷积操作后,再通过第二个线性投影层恢复原始维度,形成多尺度特征图。

5.根据权利要求3所述的基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,所述动态时序感知增强模块接收来自多感受野特征金字塔模块输出的多尺度特征图,其中,多尺度特征图的每个尺度的特征图对应不同的空间分辨率;

通过全局平均池化操作分别对每个尺度的特征图提取全局统计信息,生成通道级的各统计向量,将各所述统计向量输入第一个多层感知机,通过非线性变换生成各调制向量,将各所述统计向量输入第二个多层感知机生成各通道权重;

每个尺度的特征图分别输入对应的深度可分离卷积进行处理,获得各处理后的特征图;

利用各所述调制向量对对应的处理后的特征图进行逐通道缩放,获得各调制后的特征图;

根据各所述通道权重对各所述调制后的特征图进行通道重加权,获得各重加权后的特征图;

通过残差连接将接收的多尺度特征图与对应的重加权后的特征图相加,并应用层归一化操作,生成增强后的多尺度特征图。

6.根据权利要求2所述的基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,所述基于所述前时相高维向量序列和所述后时相高维向量序列、第一阶段的前时相融合特征图和第一阶段的后时相融合特征图,通过第一个block处理块进行处理,获得第一个阶段的前时相全局上下文特征图和后时相全局上下文特征图,包括:对所述前时相高维向量序列与所述第一阶段的前时相融合特征图进行相加操作,获得相加前时相特征图;

对所述后时相高维向量序列与所述第一阶段的后时相融合特征图进行相加操作,获得相加后时相特征图;

通过第一个block处理块对相加前时相特征图进行处理,获得第一个阶段的前时相全局上下文特征图;

通过第一个block处理块对相加后时相特征图进行处理,获得第一个阶段的后时相全局上下文特征图。

7.根据权利要求1‑6中任一项所述的基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,所述分别将n个阶段的前时相全局上下文特征图和后时相全局上下文特征图输入到解码器进行解码,得到前后时相的遥感图像的变化检测掩膜,包括:分别将n个阶段的前时相全局上下文特征图和后时相全局上下文特征图输入到解码器,对相应阶段的前时相全局上下文特征图和后时相全局上下文特征图进行像素级差异运算,生成各差异特征图;再基于轻量化的多层感知机解码器聚合各所述差异特征图,得到前后时相的遥感图像的变化检测掩膜。

8.根据权利要求1‑6中任一项所述的基于双流时相特征适配器的遥感图像变化检测方法,其特征在于,n≥4。

9.一种基于双流时相特征适配器的遥感图像变化检测系统,其特征在于,包括图像获取模块、编码器和解码器,其中:所述图像获取模块用于获取前时相的遥感图像和后时相的遥感图像;

所述编码器用于将输入的所述前时相的遥感图像和所述后时相的遥感图像,通过编码器的预训练基础视觉Transformer模型骨干网络与两条时相特征适配器路径进行n个阶段的双向动态融合特征提取处理,获得n个阶段的前时相全局上下文特征图和后时相全局上下文特征图,其中,所述预训练基础视觉Transformer模型骨干网络包括补丁嵌入层和n个依次连接的block处理块,每条时相特征适配器路径上包括多个卷积层和n个依次连接的双向门控模块,每一个block处理块对应与每条时相特征适配器路径上的一个双向门控模块进行一个阶段的双向动态融合特征提取处理,获得该阶段的前时相全局上下文特征图和后时相全局上下文特征图,n为正整数;

所述解码器用于分别将输入的n个阶段的前时相全局上下文特征图和后时相全局上下文特征图进行解码,得到前后时相的遥感图像的变化检测掩膜;

所述将输入的所述前时相的遥感图像和所述后时相的遥感图像,通过编码器的预训练基础视觉Transformer模型骨干网络与两条时相特征适配器路径进行n个阶段的双向动态融合特征提取处理,获得n个阶段的前时相全局上下文特征图和后时相全局上下文特征图,包括:所述前时相的遥感图像输入所述编码器的第一条时相特征适配器路径中的多个卷积层进行处理,获得不同分辨率的前时相特征图;

所述后时相的遥感图像输入所述编码器的第二条时相特征适配器路径中的多个卷积层进行处理,获得不同分辨率的后时相特征图;

所述前时相的遥感图像和所述后时相的遥感图像输入所述编码器的预训练基础视觉Transformer模型骨干网络的补丁嵌入层进行处理,获得前时相高维向量序列和后时相高维向量序列;

基于所述不同分辨率的前时相特征图、所述不同分辨率的后时相特征图、所述前时相高维向量序列和所述后时相高维向量序列,通过n个block处理块和两条时相特征适配器路径上的n个双向门控模块进行n个阶段的双向动态融合特征提取处理,获得n个阶段的前时相全局上下文特征图和后时相全局上下文特征图。