利索能及
我要发布
收藏
专利号: 2023105389119
申请人: 西安电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多支路协同语义变化检测方法,其特征在于,具体包括以下步骤:S1、将语义变化检测样本集进行划分,将公开可用的语义变化检测数据集随机划分为训练集和测试集;

S2、读取步骤S1中划分的训练集的图像,对其进行数据处理及数据增强:S3、采用多分辨率卷积神经双向融合网络对双时相遥感图像进行特征提取,提取的多ms分辨率特征为X ,

在分类主干网络ResNet基础上添加一个额外的高分辨率分支,ResNet网络在执行下采样时分为四个阶段,每个阶段的输出结果将特征图的大小减半,通道数加倍,逐级提取高级语义特征,在不同的阶段执行对高分辨率分支的特征与低分辨率分支的特征分别进行“高‑低融合”和“低‑高融合”,通过双向特征融合,充分利用多分辨率的空间信息和语义信息;

S4、引入类自注意力机制用于构建上下文信息交互模块,采用上下文信息交互模块来增ce强上下文信息,最终上下文信息交互后的增强特征为X ,ms

S401、对步骤S3提取的多分辨率特征X 进行卷积和维度转换操作;

ms

S402、对X 通过一个简单的粗分割网络得到粗语义分割结果RSS;

S403、对步骤S402得到的粗语义分割结果RSS进行Softmax和维度转换操作,得到C组,C为分割类别,向量集合V={Vi,i=1,...,C},每个向量Vi是一个类别的特征表示;

S404、对步骤S401和步骤S403得到的结果进行矩阵相乘,得到对象上下文表征;

S405、计算每个像素和步骤S404得到的对象上下文表征的关系,得到每个像素的最终表征;

fus

S5、对双时相提取到的特征进行通道融合,最终融合后的特征为X ,S6、根据步骤S4和步骤S5最终融合后的特征,通过对应的语义分割解码器和二值变化检测解码器,得到最终输出结果。

2.根据权利要求1所述的一种多支路协同语义变化检测方法,其特征在于,所述步骤S2的具体方法为:首先,选取多个经典的网络模型,包括ResNet101、HRNet‑W64,将原始数据输入进模型进行训练,将训练好的模型通过模型集成的方式对语义变化检测数据集的未变化区域具体的语义类别进行预测,将未变化区域的预测的结果作为伪标签,结合变化区域的已有标签,实现数据集的二次标注,增加标注像素的数量;

然后,通过随机左右翻转、上下翻转和多角度旋转来对数据进行数据增强。

3.根据权利要求1所述的一种多支路协同语义变化检测方法,其特征在于,所述步骤S2中用于伪标签生成的模型不参与后续的训练及测试。

4.根据权利要求1所述的一种多支路协同语义变化检测方法,其特征在于,所述步骤S5具体方法为:S501、对步骤S4提取的增强特征 进行多种方式的通道融合,包括特征相加、相减、拼接三种方式,给二值变化检测网络分支提供多种方式组合得到的特征,见公式(11)‑(13):S502、引入通道注意力机制对特征通道进行处理,公式(11)‑(13)沿通道维度,通过特征相加、相减、拼接三种方式得到不同的特征,对得到的特征进行如下操作:

1)挤压操作,通过全局平均池化,顺着空间维度来进行特征压缩,将每个二维的特征通道变成一个实数,这个实数某种程度上具有全局的感受野,并且输出的维度和输入的特征通道数相匹配;

2)激励操作,通过参数来为每个特征通道生成权重;

3)重加权操作,将激励操作输出的权重看作是通过特征选择后每个特征通道的重要性,然后通过乘法逐通道加权到步骤S502第3)步之前所有的特征上,完成在通道维度上的对原始特征的重标定,引入的通道注意力机制经以上操作筛选出了更重要的特征,再进行降维操作,对特征的丰富性和计算复杂度进行折衷;

fus con

X =SA(X ) (14)

其中,SA(·)指的是通道注意力操作;

fus

最终融合后的特征为X ,

5.根据权利要求2所述的一种多支路协同语义变化检测方法,其特征在于,所述步骤S6的具体方法为:将步骤S4和步骤S5中提取到的特征,通过对应的语义分割解码器 和二值变化检测解码器 得到最终的输出结果:一副二值变化图CM,以及两幅语义变化检测图SCD1和SCD2;

其中,Mask(·)为点乘操作,将语义分割结果 和和二值变化检测图CM点乘后,仅保留变化区域的语义信息;语义分割解码器 和二值变化检测解码器 的结构为简化的全卷积网络,通过卷积、BN、Relu得到分割和变化结果,然后进行插值得到与输入大小相同的语义分割图和二值变化图。

6.基于权利要求1至5任一项所述检测方法的多支路协同语义变化检测系统,其特征在于,包括:多分辨率卷积神经网络编码器,为两个结构相同、权值共享的孪生结构,用于输入双时相图像I1,I2,提取多分辨率深度特征;

上下文信息交互模块,为两个权值共享、结构相同的孪生结构,用于对目标区域进行上下文信息交互,并与原始特征进行拼接,得到最终的增强特征;

通道融合模块,用于挖掘隐藏的深层特征的相关性,增强子任务之间的协同交互,提供给二值变化检测网络分支更丰富、有效的特征,提高特征利用率;

语义分割解码器,为两个权值共享、结构相同的孪生结构,用于输出两幅语义分割图和二值变化检测解码器,用于输出一副二值变化图CM,以及两幅语义变化检测图SCD1和SCD2。

7.基于权利要求1至5任一项所述检测方法的多支路协同语义变化检测设备,其特征在于,包括:存储器,用于存储计算机程序,数据和模型;

处理器,用于执行所述计算机程序时实现步骤S1至S6所述多支路协同语义变化检测方法。

8.一种计算机可读存储介质,其特征在于,对程序和数据进行读取和存储,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时能够基于权利要求1至5任一项所述的检测方法,进行多支路协同语义检测。