利索能及
我要发布
收藏
专利号: 2024118128304
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种抗非对齐的SAR‑光学影像耦合对比融合建筑物分割方法,其特征在于,具体包括以下步骤:

11)构建建筑物遥感影像分割多模态数据集:获取成对的SAR影像S和光学影像O以及对应的建筑物标签掩模M用于构建建筑物分割任务数据集,按照7:3的比例划分训练集和验证集;对建筑物分割任务数据集进一步进行随机裁剪、随机翻转以扩充数据集;

12)构建抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型:该模型由多模态双分支特征提取模块、偏移引导自适应特征对齐模块、多模态图像融合的耦合对比学习框架组成;具体步骤如下:

121)构建用于提取模态特定特征的多模态双分支特征提取模块,其包括一个SAR影像编码器和一个光学影像编码器;

1211)构建用于提取SAR影像特征的SAR影像编码器,其包括三个连续的下采样结构,下采样结构具体为:一个批归一化层、一个Relu层、一个卷积核大小为1×1的卷积层、一个批归一化层、一个Relu层、一个卷积核大小为3×3的卷积层、一个批归一化层、一个Relu层、一个卷积核大小为1×1的卷积层;

1212)构建用于提取光学影像特征的光学影像编码器,其包括三个连续的下采样结构,下采样结构具体为:一个3×3的卷积层、一个Relu层、一个批归一化层、一个3×3的卷积层、一个Relu层、一个批归一化层;

122)构建用于引导多模态特征对齐的偏移引导自适应特征对齐模块,其包括一个跨模态空间偏移估计子模块、一个偏移引导可变形对齐和融合子模块、一个上采样子模块;

1221)构建用于精确估计特征级偏移的跨模态空间偏移估计子模块,其包括一个不变特征编码器、一个特定特征编码器、一个空间注意力机制、一个通道注意力机制、一个3×3卷积层和一个Relu激活函数;

12211)构建不变特征编码器,其包括一个卷积层和一个SiLU激活函数;

12212)构建特定特征编码器,其包括一个3×3卷积层和一个C3模块,C3模块包括三个3×3卷积层和Resnet50中的瓶颈层;

1222)构建偏移引导可变形对齐和融合子模块,其包括一个可变形卷积层、一个双线性插值操作、一个1×1卷积和两个拼接操作;

1223)构建上采样子模块,其包括三个连续的上采样结构,上采样结构具体有3层,3层分别为:一个3×3反卷积层、一个Relu层、一个批归一化层;

123)构建多模态图像融合的耦合对比学习框架,该框架包含一个有预训练权重的Vgg‑

19网络、一个用于提高前景显著性的对比损失函数、一个用于保留光学影像背景细节的对比损失函数和一个分割子模块;

1231)构建用于提高前景显著性的对比损失函数,SAR影像前景特征设置为正样本,光学影像前景特征设置为负样本;

1232)构建用于保留光学影像背景细节的对比损失函数,光学影像背景特征设置为正样本,SAR影像背景特征设置为负样本;

1233)构建分割子模块,其包括一个全连接层和一个sigmoid激活函数;

13)训练抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型:利用划分好的训练集对12)中所构建的建筑物分割模型进行参数训练,直到训练达到100个epoch,最后保留训练好的网络参数;

14)抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型结果获取:将获取的成对待融合真实SAR和光学影像数据输入到训练好的抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型中,得到分割结果。

2.根据权利要求1所述的一种抗非对齐的SAR‑光学影像耦合对比融合建筑物分割方法,其特征在于,所述训练抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型,具体包括以下步骤:

21)抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型的训练包括两个阶段,第一个阶段是耦合对比学习的训练阶段,通过遥感影像分割多模态数据集预训练得到多模态双分支特征提取模块和偏移引导自适应特征对齐模块,可以充分融合SAR影像和光学影像中互补的特征,第二阶段是抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型的微调阶段,通过遥感影像分割多模态数据集对整个模型进行微调,使分割结果能够更好,抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型的训练具体包括以下步骤:

22)将预处理后数据集中的SAR影像和光学影像输入到多模态双分支特征提取模块,获取SAR影像特征和光学影像特征,具体包括以下步骤:

221)将SAR影像输入SAR影像编码器后,执行3个连续的下采样结构得到SAR影像特征FSAR;

222)将光学影像输入光学影像编码器后,执行3个连续的下采样结构得到光学影像特征Foptical;

23)将SAR影像特征FSAR和光学影像特征Foptical输入偏移引导自适应特征对齐模块,用于引导多模态特征对齐,具体包括以下步骤:

231)执行一个跨模态空间偏移估计子模块,用于精确估计特征级偏移,具体包括以下步骤:

2311)SAR影像特征FSAR和光学影像特征Foptical经过共享参数的不变特征编码器,执行卷积操作和SiLU激活函数操作,分别得到SAR影像共享特征 光学影像共享特征

2312)SAR影像特征FSAR和光学影像特征Foptical分别经过特定特征编码器,执行卷积操作和C3模块,分别得到SAR影像特定特征 光学影像特定特征

2313)SAR影像共享特征 经过空间注意力模块,同时对SAR影像共享特征 执行最大池化和平均池化,将最大池化输出和平均池化输出拼接,然后将拼接的结果执行7×7卷积,再执行sigmoid函数,得到的概率矩阵 和SAR影像共享特征 进行点乘,得到空间增强的SAR影像特征

2314)光学影像共享特征 经过空间注意力模块,同时对光学影像共享特征

执行最大池化操作和平均池化操作,将两次池化结果拼接,然后将拼接的结果执行7×7卷积,再经过sigmoid函数,得到的概率矩阵 和光学影像共享特征 进行点乘,得到空间增强的光学影像特征

2315)对空间增强的SAR影像特征 和空间增强的光学影像特征 执行拼接操作得到变化的特征Fdif,变化的特征Fdif经过通道注意力模块,同时对Fdif执行最大池化和平均池化,然后使最大池化的输出和平均池化的输出经过多层感知机网络,然后将多层感知机att att网络的输出相加,相加的结果经过sigmoid函数得到注意力图M ,注意力图M 和空间增强att的SAR影像特征 进行矩阵相乘得到 注意力图M 和空间增强的光学影像特征进行矩阵相乘得到 和空间增强的SAR影像特征 相加得到空间和通道增强的SAR影像特征 和空间增强的光学影像特征 相加得到空间和通道增强的光学影像特征 公式化如下:

其中,fmlp是多层感知机网络,Max(·)是最大池化操作,Avg(·)是平均池化操作;

2316)对空间和通道增强的SAR影像特征 空间和通道增强的光学影像特征 执行拼接操作,再执行卷积操作和Relu激活函数操作,得到偏移量φc;

232)执行用于自适应对齐的偏移引导可变形对齐和融合子模块;

2321)对光学影像共享特征 执行可变形卷积,得到自适应对齐的光学影像特征可变形卷积公式如下:其中,y(p)是对齐后特征对应位置的值,K是核权重,wk是第k个核权重,x(·)是卷积操作,p是中心采样点的位置,pk是第k个固定偏移量,Δpk是对第k个位置φc的补偿,Δmk是从偏移量φc学习的调制标量;

2322)对自适应对齐的光学影像特征 执行双线性插值操作,得到自适应对齐的完整光学影像特征

2323)对自适应对齐的完整光学影像特征 和SAR影像共享特征 执行拼接操作,c c再执行1×1卷积,得到输出F ,对F 、光学影像特定特征 和SAR影像特定特征 执行拼接操作,得到融合后的特征Ff,公式化如下:其中,f1×1是1×1卷积,Cat(·)是拼接操作;

233)执行上采样子模块,执行3次连续的上采样结构,上采样结构包括一个3×3反卷积层、一个Relu层、一个批归一化层,得到融合图像Fused;

24)执行多模态图像融合的耦合对比学习框架;

241)将光学影像O、SAR影像S和融合图像Fused分别与标签掩模M执行像素级相乘,分别得到光学前景图像Ofore、SAR前景图像Sfore和融合图像的前景Fusedfore;

光学影像O、SAR影像S和融合图像Fused分别与背景掩模1‑M执行像素级相乘,分别得到光学背景图像Oback、SAR背景图像Sback和融合图像的背景Fusedback;

将光学前景图像Ofore、SAR前景图像Sfore、融合图像的前景Fusedfore、光学背景图像Oback、SAR背景图像Sback、融合图像的背景Fusedback切成8×8图像块;

将这些图像块导入有预训练权重的Vgg‑19网络,得到融合图像的前景特征ui,SAR影像前景特征 光学影像前景特征 融合图像的背景特征vi,SAR影像的背景特征 光学影像的背景特征 m表示第m个负样本;

242)构建耦合对比学习损失函数Lcon,Lcon包括用于提高前景显著性的对比损失函数LSAR和用于保留光学影像背景细节的对比损失函数Loptical,Lcon、LSAR及Loptical公式如下:Lcon=LSAR+Loptical,

其中,m表示第m个负样本,||·||表示L1范数,wi是可学习的权重,Lcon表示耦合对比学习损失函数,LSAR表示用于提高前景显著性的对比损失函数,Loptical表示用于保留光学影像背景细节的对比损失函数;

在训练过程中,根据Lcon公式计算损失值,计算损失函数的梯度,将误差从输出层反向传播回网络的每一层,通过损失值反向传播确定梯度向量,更新抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型耦合对比学习阶段的模型参数;

判断是否达到100个epoch,若是则完成抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型耦合对比学习阶段的训练,否则继续训练;

25)基于耦合对比学习阶段的训练获得预训练好的多模态双分支特征提取模块和偏移引导自适应特征对齐模块,微调阶段在偏移引导自适应特征对齐模块后加入多模态图像融合的耦合对比学习框架中的分割子模块进行监督训练;

26)将数据集中的SAR影像和光学影像输入抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型,进行有监督微调学习,训练一个有多模态双分支特征提取模块、偏移引导自适应特征对齐模块、多模态图像融合的耦合对比学习框架的遥感影像建筑物分割模型,具体包括以下步骤:

261)将预处理后数据集中的SAR影像和光学影像输入到多模态双分支特征提取模块中,分别执行SAR影像编码器和光学影像编码器操作,得到SAR影像特征FSAR和光学影像特征Foptical;

262)将SAR影像特征FSAR和光学影像特征Foptical输入到偏移引导自适应特征对齐模块,用于引导多模态特征对齐和融合,得到融合图像Fused;

263)将融合图像Fused输入到多模态图像融合的耦合对比学习框架中的分割子模块,执行全连接操作和softmax激活函数操作,进行预测分割,公式化如下:p=soft max(L(Fused)),

其中,L(·)表示全连接层操作,softmax(·)表示softmax激活函数操作,p表示预测的分割结果;

27)采用交叉熵损失作为损失函数对网络分割精度进行优化,交叉熵损失函数表达式如下:i i

其中,N为训练样本个数,x为基础真值的第i个样本,y为预测值的第i个样本;

28)通过计算损失函数的梯度,将误差从输出层反向传播回网络每一层,通过损失值反向传播确定梯度向量,更新抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型微调阶段的模型参数;

判断是否达到设定的100个训练轮数,若是则完成抗非对齐的SAR‑光学影像耦合对比融合建筑物分割模型微调阶段的训练,否则继续训练。