1.一种结合卷积神经网络和Transformer的遥感影像变化检测方法,其特征在于:包括以下步骤:
步骤1、构造变化检测数据集,将大幅面遥感影像以及对应的变化标签图按照统一尺度进行裁剪,然后将裁剪好的T1时相图像,T2时相图像以及变化标签图按照7:1:2的比例分为训练集,验证集和测试集;
步骤2、读取步骤1构造好的变化检测数据集,并进行数据增强,在网络训练阶段,读取训练集和验证集的图像数据,其中仅对训练集数据进行数据增强操作,而训练集和验证集数据都要进行归一化处理并且转换为张量形式;
步骤3、构建变化检测网络,包括:特征提取网络,金字塔语义标记生成模块,Transformer结构,上采样模块以及网络输出头,所述特征提取网络被设计为孪生网络结构,孪生网络的两个分支结构完全相同,并且二者之间共享权重;孪生网络采用ResNet18残差网络分别提取T1时相和T2时相图像的多尺度特征,在ResNet18网络中,为了保留高分辨率特征中的细节信息,取消了最大池化层以提高变化检测效果;
所述金字塔语义标记生成模块用于将特征以一些紧凑的语义Token来表示,具体的,将双时相特征的融合特征通过空间金字塔池化下采样为4个不同尺度的特征,将四个池化特征沿空间维度展平为一维序列矩阵,沿通道维度将四个序列矩阵拼接,形成金字塔语义PToken;
所述Transformer结构用于对特征的全局信息建模,所述Transformer结构包括一个编码器和一个解码器,编码器和解码器均设置为一层;
具体的,所述编码器用于在PToken的特征空间中对全局信息建模,所述Transformer编码器由层归一化、多头自注意力机制和前馈神经网络组成,层归一化用于加速网络收敛,多头自注意力机制用于对特征的全局依赖性进行建模,前馈神经网络用于在高维空间中筛选信息;所述解码器用于编码器的输出与解码器的输入特征之间的信息交互;
步骤4、将步骤2读取的数据输入到步骤3构建的变化检测网络中,对其进行训练以及验证;
步骤5、读取步骤1构建的测试集,将经过预处理的数据输入到训练好的变化检测模型中,得到变化检测结果。
2.根据权利要求1所述的一种结合卷积神经网络和Transformer的遥感影像变化检测方法,其特征在于:所述上采样模块用于恢复深层特征的分辨率,所述上采样模块被设计为瓶颈结构,具体流程为:首先通过逐点卷积将特征维度 压缩至 ,然后使用卷积核为 的转置卷积恢复特征分辨率到 ,最后再执行一次逐点
卷积恢复特征的通道数 ,并且在每次卷积和转置卷积后适用批量归一化和修正线性激活函数;在上采样过程中,采用特征逐元素相加来聚合多层语义信息;在特征分辨率恢复到与输入图像相同后,采用两个卷积单元将通道数压缩为1,并且两个卷积单元中间添加了一个激活函数,最后采用Sigmoid函数将特征缩放到[0,1]以生成变化概率图。
3.根据权利要求1所述的一种结合卷积神经网络和Transformer的遥感影像变化检测方法,其特征在于:所述步骤4具体过程为:将步骤2经过预处理的数据输入到步骤3所构建的网络中,计算网络预测与真实变化标签的损失函数,经过反向传播的不断迭代,逐步优化网络权重参数,直至网络收敛;其中,采用二元交叉熵损失函数对网络参数进行优化。
4.根据权利要求1所述的一种结合卷积神经网络和Transformer的遥感影像变化检测方法,其特征在于:所述步骤5具体过程为:读取步骤1构建的测试集,经过归一化处理和张量转换,将经过预处理的数据输入到训练好的变化检测网络中,得到预测概率图,最后转换为变化检测结果。