1.一种基于局部‑全局Transformer网络的遥感图像变化检测方法,其特征在于,该方法包括以下步骤:S1对多组图像样本数据进行预处理得到标准化的多组图像数据,所述每组图像样本数据包括双时相遥感图像,所述双时相遥感图像包含前时向遥感图像和后时相遥感图像;
S2将每组标准化的图像数据依次输入到局部‑全局Transformer网络中,所述局部‑全局Transformer网络包括图像块嵌入和主干网络,所述主干网络包括四个阶段,即第一阶段、第二阶段、第三阶段和第四阶段,将所述图像块嵌入后的前时向遥感图像和后时相遥感图像输入到第一阶段,且前面一阶段的输出作为后面一阶段的输入,每个阶段包括两个暹罗Transformer模型,其中第一个暹罗Transformer模型用于将自注意力的计算限制在局部窗口中以建模输入图像的局部像素关系,第二个暹罗Transformer模型用于对图像整体像素进行注意力计算以建模输入图像的全局像素关系,且每两个阶段之间存在图像块合并操作,即将特征图大小减半,通道数加倍;
所述暹罗Transformer模型包括两个权值共享的标准Transformer块,分别根据区域功能的不同分为令牌混合器和通道混合器,所述令牌混合器用于捕获双时相图像的空间特征表示,首先将双时相图像的特征对进行层归一化操作,然后经过线性变换得到三个输入特征 ,将三个输入特征输入到自注意力计算中,最后,通过双时相图像的特征的跳跃连接和自注意力计算的输出相加得到令牌混合器的输出特征,得到对应的输出特征;
所述通道混合器用于融合通道维度上的特征,首先将令牌混合器的输出特征进行归一化操作,后进入第一多层感知机中,进行深度卷积,并将深度卷积的结果与线性变换的结果进行激活函数的操作后输入到第二多层感知机中,第二多层感知机的输出特征与令牌混合器的输出特征进行相加得到通道混合器的输出特征Y,所述第一多层感知机与第二多层感知机均是线性变换;
S3对每阶段中前时向遥感图像的输出和后时相遥感图像的输出进行差分运算后输入到高频增强单元中,得到各个阶段变化区域边缘的高频特征;
S4将第二阶段、第三阶段和第四阶段的高频特征输入到多尺度融合注意力单元中,得到各阶段细粒度融合特征;
S5将第一阶段变化区域边缘的高频特征、第二阶段、第三阶段以及第三阶段得到的细粒度融合特征输入到深层特征引导单元,获得更加精细的检测图;
S6对深层特征引导单元的输出与第二阶段、第三阶段以及第三阶段得到的细粒度融合特征进行特征融合得到模型输出特征;
S7采用训练数据对上述模型进行模型训练后进行数据测试,进而得到最终的预测结果。
2.根据权利要求1所述的方法,其特征在于,还包括:所述第一阶段包括两个暹罗Transformer模型,且两个暹罗Transformer模型均用于将自注意力的计算限制在局部窗口中以建模输入图像的局部像素关系。
3.根据权利要求1或2所述的方法,其特征在于,所述图像块嵌入具体包括一个卷积核为4×4、步长为4的二维卷积,即双时相图像 , 、 和 分别表示通道数、高和宽,通过图像块嵌入操作被转化为图像令牌序列。
4.根据权利要求1所述的方法,其特征在于,所述令牌混合器利用自注意力机制充分捕获图像全局空间特征关系,其数学表达式如公式(1)‑(2)所示:(1)
(2)
其中, ()和 分别表示第 个自注意力头的输出特征和具有 个注意力头
的多头自注意力的输出特征, 、 和 分别表示查询、键和值三个输入特征,表示每个注意力头的特征维度, 表示线性变换;所述通道混合器利用多层感知机有效地融合通道维度上的特征,其数学表达式如公式(3)‑(5)所示:(3)
(4)
(5)
其中, 、 和 分别表示过渡特征即第一多层感知机的输出特征、条件位置编码特征和通道混合器的输出特征, 表示通道混合器的输入特征, , 表示线性变换,其中, , ,表示重塑操作,其中, , ,表示深度卷积,表示GELU激活。
5.根据权利要求1或2所述的方法,其特征在于,所述高频增强单元包括:
输入特征 首先经过一个3×3卷积进行差分特征优化得到浅层差分特征 ,为了获得高频特征,先利用平均池化和多头自注意力捕获低频特征,然后使用双线性插值进行上采样,得到中间特征,最后浅层差分特征 减去中间特征,得到高频特征 ,高频特征 和浅层差分特征 被沿着通道维度连接,并使用3×3卷积融合得到最终高频增强单元的输出特征Y;
具体表示为:
(6)
(7)
(8)
其中, 表示输入特征, 表示输出特征, 和 分别表示浅层差分特征和高频特征,和 表示两个3×3卷积, 和 表示两个重塑操作, 表示多头自注意力计算,表示上采样操作。
6.根据权利要求1或2所述的方法,其特征在于,所述多尺度融合注意力单元包括第一路首先将三个输入特征分别进行1×1卷积,然后,利用重塑操作将三个二维图像特征转换成一维令牌序列,为了充分地交互多尺度令牌间的特征,一维令牌序列被沿着空间维度连接在一起,并经过 个多头自注意力连续地聚合不同尺度特征的空间关系;沿着空间维度分割多头自注意力的输出特征,然后通过重塑操作将一维令牌序列还原为二维图像特征,二维图像特征经过1×1卷积、批归一化和Sigmoid激活得到对应的注意力权重,另一路,利用平均池化和上采样将三个不同尺度的输入特征在三个不同空间维度进行融合得到三种粗粒度融合特征,然后,这三种粗粒度融合特征经过3×3卷积、批归一化和ReLU激活函数进行优化,得到对应的校准特征,最后,利用对应的注意力权重对三个校准特征分别进行注意力加权计算,得到最终的细粒度融合特征。
7.根据权利要求6所述的方法,其特征在于,所述多尺度融合注意力单元表示为:(9)
其中, 表示校准特征, 表示多头自注意力的输出特征, 表示多尺度融合注意力单元的输出特征, 表示k×k卷积,表示矩阵哈达玛积,表示阶段数, ,BN表示批量样本的归一化操作。
8.根据权利要求1或2所述的方法,其特征在于,所述深层特征引导单元包括将第二阶段、第三阶段以及第三阶段得到的细粒度融合特征进行尺度校准,得到校准后的深层融合特征,后与第一阶段变化区域边缘的高频特征进行交叉注意力计算,后经过1×1卷积、批归一化和Sigmoid激活得到对应的注意力权重,并且得到校准后的深层融合特征与第一阶段变化区域边缘的高频特征相加后,经过3×3卷积、批归一化和ReLU激活函数进行优化,得到对应的优化特征,最后,利用所述注意力权重和优化特征进行注意力加权计算,得到获得更加精细的检测图。
9.根据权利要求8所述的方法,其特征在于,深层特征引导单元表示为如公式(10)‑(12)所示:(10)
(11)
(12)
其中, 表示第一阶段的高频特征, 表示后三个阶段的融合校准特征, 表示多头交叉注意力, ()和 分别表示第 个交叉注意力头的输出特征和具有 个注意力头的多头交叉注意力的输出特征, 、 和 分别表示查询、键和值三个输入特征,其中, 由 线性变换得到, 由 线性变换得到,表示每个注意力头的特征维度,表示线性变换。