1.一种耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,包括如下步骤:S1:利用相位结构特征检测算法对多模态遥感图像进行特征点检测,所述的相位结构特征检测算法包括点形状纹理滤波算法、相位一致性计算和Brisk算法,点形状纹理滤波算法用于获取多模态遥感图像的结构特征,相位一致性计算用于增强多模态遥感图像的边缘信息,Brisk算法用于进行关键点检测获得稳定的关键特征点;
S2:构建多级特征交互与聚合网络,所述的多级特征交互与聚合网络包括双分支主干网络、基于坐标注意力机制的多级特征交互与聚合模块以及基于坐标注意力机制的密集特征融合模块;
所述的双分支主干网络包括上分支网络和下分支网络,上分支网络为卷积神经网络,用于获取图像的局部特征,下分支网络为Transformer网络,用于提取图像的全局特征;
所述的基于坐标注意力机制的多级特征交互与聚合模块包括通道特征交互模块和空间特征交互模块,通道特征交互模块用于将双分支主干网络不同阶段的特征在通道维度上进行交互与聚合,空间特征交互模块用于将双分支主干网络不同阶段的特征在空间维度上进行交互与聚合;
所述的基于坐标注意力机制的密集特征融合模块包括特征聚合模块和特征融合模块,特征聚合模块用于对双分支主干网络提取的局部和全局特征进行聚合,特征融合模块用于对聚合后的特征进行融合得到深度特征描述符,过滤冗余特征;
S3:构建多模态遥感图像数据集并对多级特征交互与聚合网络进行训练,利用混合相似度量三重态损失函数从多级特征交互与聚合网络提取的深度特征描述符中计算出匹配深度特征描述符与非匹配深度特征描述符之间最小的距离,根据距离计算出混合相似度量三重态损失函数的值并进行反向传播,从而优化网络模型,防止梯度消失和过拟合,优化网络模型,完成网络训练;
S4:使用训练完成的多级特征交互与聚合网络根据步骤S1中检测到的关键特征点提取深度特征描述符,并利用最邻近匹配算法对深度特征描述符进行匹配,获得初始匹配结果;
S5:利用多层级误匹配剔除策略对初始匹配结果进行误匹配剔除,得到最终的匹配结果;所述的多层级误匹配剔除策略包括自适应阈值约束、基于网格运动统计算法粗筛选和边缘化样本共识算法精匹配。
2.根据权利要求1所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,所述步骤S1的具体方法为:S101:对多模态遥感图像进行图像预处理,包括几何校正、大气校正和辐射定标;
S102:计算预处理后的多模态遥感图像的边缘置信图,根据边缘置信图对预处理后的多模态遥感图像进行点形状纹理滤波,得到多模态遥感图像的结构特征;
S103:对滤波后的多模态遥感图像进行相位一致性计算,得到多模态遥感图像的最大力矩图,突出边缘信息;
S104:使用Brisk算法对最大力矩图进行特征点检测,获得关键特征点信息,得到稳定的特征图;
S105:以步骤S104中检测到的关键特征点为中心,从原始多模态遥感图像中裁剪若干大小为224×224的图像块,完成图像块提取。
3.根据权利要求1所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,所述的卷积神经网络包含五个阶段,第一阶段为一个3×3卷积层,第二阶段、第三阶段、第四阶段和第五阶段为多个倒残差结构堆叠而成,第二阶段、第三阶段、第四阶段和第五阶段分别对倒残差结构堆叠3次、3次、7次、4次;其中,第二阶段为一个步长为1的倒残差结构、一个步长为2的倒残差结构和一个步长为1的倒残差结构堆叠而成,第三阶段为一个步长为2的倒残差结构和两个步长为1的倒残差结构依次堆叠而成,第四阶段为一个步长为2的倒残差结构和六个步长为1的倒残差结构依次堆叠而成,第五阶段为一个步长为2倒残差结构和三个步长为1的倒残差结构堆叠而成;
所述的Transformer网络包含五个阶段,第一阶段为一个3×3卷积层,第二阶段为四个倒残差结构,第三阶段、第四阶段和第五阶段均由一个倒残差结构和一个MobileViT结构组成;其中,第二阶段为三个步长为1的倒残差结构和一个步长为2的倒残差结构堆叠而成,第三阶段、第四阶段、第五阶段中的倒残差结构的步长都为2。
4.根据权利要求3所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,所述的MobileViT结构包含三个阶段,第一阶段为1个3×3的卷积层和一个1×1的卷积层;第二阶段首先对第一阶段输出的特征图进行展平,然后经过Transformer模块进行特征提取,Transformer模块分为两个层,第一层将展平的特征进行归一化,然后将归一化后的特征进行自注意力机制计算,将第一层的初始输入特征与自注意力机制输出的特征相加得到第一层的输出;第二层将第一层输出的特征进行归一化,然后将归一化的特征进行多层感知机操作,最后将第一层的输出特征与多层感知机操作的输出特征相加得到最后Transformer模块的输出特征图;然后再将Transformer模块的输出特征图折叠为第二阶段输入特征图的尺寸;第三阶段首先利用1×1的卷积层将第二阶段输出的特征图还原为第一阶段输入特征图的大小,然后将第一阶段输入的特征图与1×1卷积输出的特征图在通道上进行拼接,最后使用一个3×3的卷积层进行融合得到输出特征图。
5.根据权利要求4所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,所述的通道特征交互模块包括坐标注意力机制、全局平均池化操作、全局最大池化操作、通道拼接操作、多层感知机操作和Sigmoid激活函数,空间特征交互模块包括通道拼接操作、多层感知机操作和Sigmoid激活函数;记双分支主干网络的上分支网络获取的特征图为 ,双分支主干网络的下分支网络获取的特征图为 ,通道特征交互模块先通过坐标注意力机制对输入的特征图 和特征图 进行关键特征提取,再对特征图沿着通道分别进行全局最大池化操作和全局平均池化操作,得到四个特征图 、 、和 ;然后,将四个特征图进行通道拼接操作,得到特征图 , , 表示3D特征图;最后,利用多层感知机操作对特征图 进行深度交互,然后使用Sigmoid激活函数计算经过深度交互后的特征图的权重,并将其分成两个相同大小的权重特征图 和, , ,然后根据权重特征图 和权重特征图 得到通道校正后的特征图 和 ;通道特征交互模块提取特征图的计算公式表示为:
,
,
,
式中, 表示坐标注意力机制对特征图进行计算操作的函数, 表示对特征图进行全局平局池化操作, 表示对特征图进行全局最大池化操作, 表示对特征图进行通道拼接操作, 表示多层感知机操作, 表示通道特征交互模块的Sigmoid激活函数,表示按通道分割函数, 表示通道校正后的上分支网络的特征图, 表示通道校正后的下分支网络的特征图, 表示通道相乘;
空间特征交互模块先对输入的特征图 和特征图 进行通道拼接操作,然后利用多层感知机操作来实现特征的交互,得到特征图 , ,然后使用Sigmoid激活函数计算特征图 的权重,并将其分成两个相同大小的权重特征图 和 ,, ,然后根据权重特征图 和权重特征图 得到空间校正后的特征图 和 ;空间特征交互模块提取特征图的计算公式为:
,
,
,
式中, 表示空间特征交互模块的Sigmoid激活函数, 表示空间校正后上分支网络的特征图, 表示空间校正后下分支网络的特征图;
双分支主干网络不同分支获取的特征图经过通道特征交互模块和空间特征交互模块进行通道和空间信息的交互和校正后,得到校正后的特征图的公式表示为:,
式中, 表示上分支网络获取的特征图经过基于坐标注意力机制的多级特征交互与聚合模块后输出的特征图, 表示下分支网络获取的特征图经过基于坐标注意力机制的多级特征交互与聚合模块后输出的特征图。
6.根据权利要求5所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,所述的基于坐标注意力机制的密集特征融合模块包括特征聚合模块和特征融合模块,所述的特征聚合模块包含四个1×1的卷积层、一个3×3的DW卷积层、一个激活函数Relu、一个批归一化层BN、一个Softmax函数和一个Split函数,所述的特征融合模块包括坐标注意力机制、一个7×7的卷积层、一个批归一化层BN和 归一化;
特征聚合模块首先对基于坐标注意力机制的多级特征交互与聚合模块输出的特征图和特征图 进行通道拼接操作,并利用四个1×1的卷积层、一个3×3的DW卷积层、一个激活函数Relu、一个批归一化层BN和一个Softmax函数实现深层特征的深度聚合;其次,利用Softmax函数、Split函数运算得到两个权重图 和 ,再利用权重图和权重图 得到聚合后的密集特征图 和 ;特征聚合模块聚合特征图的计算公式表达为:,
,
,
式中, 分别表示两个1×1的卷积层输出的特征图, 表示Softmax函
数, 表示1×1的卷积层、3×3的DW卷积层、批归一化层BN和激活函数Relu组成的复合函数, 表示特征聚合模块输出的上分支网络的密集特征图, 表示特征聚合模块输出下分支网络输出的密集特征图;
特征融合模块用于对聚合后的密集特征进行融合,得到深度特征描述符用于匹配;首先,对特征聚合模块输出的密集特征图 和密集特征图 进行通道拼接操作,并利用坐标注意力机制增强关键特征的表达,抑制不相关特征;其次,利用7×7的卷积层和批归一化层BN得到256维的特征向量 ,并对特征向量 进行 归一化操作得到深度特征描述符;特征融合模块的表达式为:,
,
式中, 表示7×7的卷积层、批归一化层BN组成的复合函数, 表示深度
特征描述符描述符, 表示 归一化操作。
7.根据权利要求1所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,步骤S3中,所述混合相似度量三重态损失函数由 范数归一化和三重态损失组成,范数归一化的计算公式为:,
式中, 表示对描述符对 和 进行 范数归一化后的结果, 和 是 范数归一化之前的一对匹配深度特征描述符对, 表示深度特征描述符的个数;
三重态损失的计算公式为:
,
,
式中, 表示三重态损失值, 表示匹配深度特征描述符对的夹角, 表示非匹配深度特征描述符对的夹角, 表示匹配深度特征描述符对的混合相似度量,表示非匹配深度特征描述符对的混合相似度量; 表示混合相似度量,表示深度特征描述符夹角的余弦值, , 表示深度特征描述符夹角的函
数, ,为用于调节比例的标量, ; 为最大幅度梯度归
一化因子,为深度特征描述符之间的夹角,表示边距,是一个值为1的常数;
最后,混合相似度量三重态损失函数定义为:
,
式中,表示混合相似度量三重态损失函数,为正则化参数。
8.根据权利要求1所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,通过最邻近匹配算法得到的初始匹配结果中含有欧式距离最邻近匹配点对和次邻近匹配点对,若最邻近匹配点对深度特征描述符的距离 远小于次邻近匹配点对深度特征描述符的距离 ,则认为对应的初始匹配点对质量好,自适应阈值约束计算所有初始匹配结果中最邻近匹配点对和次邻近匹配点对间欧式距离的均值作为是否保留对应的匹配点对的判断依据,欧式距离的均值的计算公式为:;
其中, 为参考图像上关键特征点的个数, 为欧式距离的均值, 为次邻近匹配点对深度特征描述符的距离, 为最邻近匹配点对深度特征描述符的距离,对于每一组最邻近匹配点对和次邻近匹配点对,当 时,对应的最邻近匹配点对保留,否则剔除所述匹配点对,筛选出初始正确匹配点对结果;
然后通过基于网格运动统计算法对自适应阈值约束筛选后得到的初始正确匹配点对结果进行运动平滑约束统计,获得粗筛选后的匹配点对;再通过边缘化样本共识算法利用迭代加权最小二乘求解估计值实现鲁棒估计,实现精匹配,得到最终的正确匹配点。
9.根据权利要求8所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,所述的基于网格运动统计算法粗筛选是从自适应阈值约束筛选后得到的初始正确匹配点对中,找出满足条件的匹配点,以输入的初始匹配点的坐标为中心找到最近邻域和相近邻域,统计邻域内的匹配数量,然后统计正确匹配和错误匹配的概率,得到每个邻域内正确匹配和错误匹配的概率,根据概率阈值来确定正确与错误匹配,当图像中的匹配点数量越多,正确与错误匹配的区分度越高;基于网格运动统计算法实现过程中利用网格来代替邻域实现算法的快速高效运行。
10.根据权利要求9所述的耦合相位结构和深度特征的多模态遥感图像匹配方法,其特征在于,所述边缘化样本共识算法是从一组含有错误匹配点的数据中正确估计数学模型参数的迭代算法,通过边缘化求解出一个随机点作为正确匹配点的概率,将概率作为权重进行加权最小二乘法优化,从而对模型进行优化,通过迭代找出正确匹配点数量最多的模型,即获得最终的匹配点。