利索能及
我要发布
收藏
专利号: 2024102464019
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于时空鲁棒表征提取的遥感变化检测方法,其特征在于,包括如下步骤:步骤1、基于多尺度特征编码网络提取对齐后的时空鲁棒表征;

步骤2、利用对齐后的时空鲁棒表征进行变化图预测;

步骤3、利用原分辨率双时图像来对变化图的细节进行修复,得到最终的遥感变化图;

所述步骤1的具体过程为:

步骤1.1、通过遥感卫星拍摄两个时刻下的图像,将两个时刻下的图像分别定义为时刻

0图像和时刻1图像,时刻0图像和时刻1图像合称双时图像;

步骤1.2、将两个时刻下的图像同时输入到多尺度特征编码网络中,多尺度特征编码网络包括多尺度特征提取阶段和多尺度特征融合阶段;提取阶段提取两个时刻下的多尺度特征,两个时刻下的多尺度特征合称双时特征;

多尺度特征提取阶段的具体过程为:将双时图像输入到残差网络中,选取残差网络最后一层输出的 尺度特征图 以及中间层输出的 尺度特征图 和 尺度特征图 将三个尺度的特征图组合成一个集合构成特征金字塔;其中t=0,1;当t=0时,为时刻0图像;

当t=1时,为时刻1图像;

多尺度特征融合阶段的公式为:

其中, 代表融合后的特征图,C代表特征通道数,H和W分别为输入图像的高和宽,k为特征图的尺度;操作 代表一层卷积核大小为3×3且步长为1的卷积层,加上一个批归一化操作; 为融合特征的中间结果,计算公式如下:其中, 表示一层卷积核大小为1×1且步长为1的卷积层; 为第k个尺度的特征图;

为第k+1个尺度融合后的特征图;↑代表双线性插值上采样;

步骤1.3、创建一组可学习的嵌入向量 在训练过程中捕捉到整个数据集的全局时空鲁棒表征;Nr代表鲁棒表征的数量;根据损失函数L计算关于全局时空鲁棒表征的梯度 并利用神经网络框架pytorch中的SGD优化器根据梯度来对e进行更新;SGD为随机梯度下降;

步骤1.4、利用融合后的多尺度特征来指导全局时空鲁棒表征向当前场景对齐,得到对齐后的时空鲁棒表征;

所述步骤1.4的具体过程为:

步骤1.4.1、首先通过向量化的方式将 转变为一个序列 其中N表示向量的数量; 为第k个尺度的特征转变为序列中的第N个向量;

然后将傅里叶位置编码添加到序列 中,表示为:

其中, 为添加位置编码后的向量序列; 代表傅里叶位置编码;

按照公式(3)得到时刻0时第k个尺度的添加位置编码后的向量序列 和时刻1时第k个尺度的添加位置编码后的向量序列最后将 两个向量序列进行连接,如公式(4):

其中,pk为连接后的第k个尺度的向量序列;concat(·)为沿通道维度连接;

步骤1.4.2、利用对齐网络将当前场景的双时特征中的信息聚合到全局鲁棒表征中;对齐网络包含 层,每层包含3个对齐块;对齐网络的计算过程如公式(5):其中, 为第l层第j个对齐块的中间结果;MCA(·)代表多头交叉注意力函数;pk为连接后的第k个尺度的向量序列,在公式(5)中满足k=j,即每个对齐块中的MCA负责处理其对应尺度的向量序列; 代表第l层第j个对齐块的输入; 表示第l层第j个对齐块的输出结果,对应第l层第j+1个对齐块的输入;LN(·)表示层归一化;MLP(·)表示多层感知机,由两个线性变换层组成,中间有一个ReLU激活函数;在每个对齐网络第l层中,将第l‑1层第

3个对齐块的输出结果 作为第l层的输入,最终通过三个对齐块计算得到第l层对齐网络的输出,第l层对齐网络的输出为第l‑1层第3个对齐块的输出结果 或者第l层第1个对齐块的输入 最后一层对齐网络输出的结果便是对齐后的时空鲁棒表征,记作z;

所述步骤2的具体过程为:

步骤2.1、使用对齐后的时空鲁棒表征来对最高尺度的双时特征 分类,如公式(6):其中, 表示时刻t的分类结果,σ表示softmax函数,T表示矩阵转置操作;

步骤2.2、将分类结果输入到变化图预测网络中,得到粗糙预测值;

将双时特征的分类结果上采样到原尺度得到 为上采样到原尺度的时刻0的特征分类结果, 为上采样到原尺度的时刻1的特征分类结果;然后将沿着类别维度连接,然后输入到预测头中,如公式(7):其中, 表示粗糙预测值,f表示由两层卷积核为1×1的卷积层组成的预测头,中间加有批归一化和ReLU激活函数;

所述步骤3的具体过程为:

步骤3.1、将粗糙预测值 以及原分辨率的双时图像拼接,输入到一个卷积层中,将特征通道数从2扩展到32;然后将32通道的特征图输入到6个卷积块中进行特征融合;每个卷积块包含两组固定结构,并且在卷积块的输入与最后一层批归一化之间添加残差连接;

每组固定结构均包括卷积层、批归一化和LeakyReLU激活函数;特征图依次通过每个卷积块中的固定结构,来对特征进行融合;最后利用一层卷积将融合后的特征图的特征通道从32变为2通道的预测值,此时的预测值即为融合后的预测值步骤3.2、利用argmax函数将融合后的预测值 转换为最终的遥感变化图。