利索能及
我要发布
收藏
专利号: 2024101678970
申请人: 东华理工大学南昌校区
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,包括如下步骤:S1:对光学和SAR图像进行预处理并使用Fast算法进行特征点检测;

S2:构建深度描述符提取模型,所述深度描述符提取模型包括同时提取局部信息和全局上下文语义意信息的深度倒残差全卷积神经网络和密集特征纯化模块;

所述深度倒残差全卷积神经网络由一个卷积层和多个重复的倒残差结构组成,倒残差结构使用全卷积层,全卷积层用于局部特征的提取和减少图像关键特征的损失,倒残差结构中内嵌的跨连接结构用于提取图像的全局和上下文信息和实现特征的重用;

所述密集特征纯化模块,用于将深度倒残差全卷积神经网络输出的密集特征融合到一个深度描述符中;包含一个步长为1的倒残差结构、密集特征融合层和L2范数归一化,其中密集特征融合层由一个7×7的卷积层和一个批归一化层BN组成,密集特征纯化模块将深度倒残差全卷积神经网络输出的密集特征融合到一个256维的深度描述符中;

S3:利用公开的光学和SAR图像的数据集对深度描述符提取模型进行训练,损失函数从深度描述符提取模型输出的深度描述符中找出与匹配深度描述符对距离最小的两个非匹配的深度描述符,并计算深度描述符之间的 距离,通过计算的 距离得到匹配深度描述符对与两个非匹配深度描述符 距离的最小值,然后根据匹配深度描述符的距离和非匹配深度描述符的最小距离计算损失,最后将损失进行反向传播,优化模型的参数,完成模型训练;

S4:使用训练完的深度描述符提取模型根据检测到的特征点构建深度描述符,并利用最邻近匹配算法进行最邻近匹配,获得初始匹配结果;

S5:对步骤S4获得的初始匹配结果使用去粗取精策略剔除误匹配,所述去粗取精策略剔除误匹配包括自适应阈值约束粗筛选和双RANSAC算法精筛选。

2.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,步骤S1中,对光学和SAR图像进行预处理并使用Fast算法进行特征点检测的具体方法为:S101:对光学和SAR图像进行图像预处理;

S102:对预处理后的光学和SAR图像进行归一化处理,减少噪声对特征点检测的影响;

S103:使用Fast算法对光学和SAR图像进行特征点检测;

S104:根据检测到的特征点,以特征点为中心裁剪大小为224×224的图像块。

3.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,所述深度倒残差全卷积神经网络包括七个阶段,第一阶段为一个3×3卷积层,第二阶段为一个倒残差结构,第三阶段、第四阶段、第五阶段、第六阶段和第七阶段为多个倒残差结构堆叠而成,第三阶段、第四阶段、第五阶段、第六阶段和第七阶段分别对倒残差结构自身堆叠2次、3次、4次、3次和3次。

4.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,所述倒残差结构根据步长的不同分为两种结构形式;步长为2的倒残差结构分为三个阶段,第一阶段为一个1×1的卷积层对输入进行升维,后跟批归一化层BN和激活函数Relu6,第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6,第三阶段为1×1的卷积层和线性层加上批归一化层BN;步长为1的倒残差结构分为四个阶段,第一阶段为一个1×1的卷积层对输入进行升维,后跟批归一化层BN和激活函数Relu6,第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6,第三阶段为1×1的卷积层和线性层加上批归一化层BN,第四阶段将输入特征图和第三阶段输出的特征图在特征通道上进行拼接;所述的DW卷积层为一个卷积核负责一个通道,一个通道只被一个卷积核卷积,DW卷积层能大幅减少网络的模型参数使模型轻量化;根据倒残差结构生成特征图的计算公式如下:,

其中, 为第 个倒残差结构的输出, 为卷积层、激活函数Relu6和批归一化层BN组成的复合函数, 为第 个倒残差结构输出特征图的3D张量,其中, 为对应特征图的3D张量的维度,分别对应特征图的3D张量的长、宽和通道数量, 为第个倒残差结构输出特征图的3D张量,其中, 为对应特征图的3D张量的维度,分别对应特征图的3D张量的长、宽和通道数量, 为倒残差结构中DW卷积的步长。

5. 根据权利要求1或4所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,所述的密集特征纯化模块包含一个步长为1的倒残差结构、密集特征融合层和L2范数归一化;深度倒残差全卷积神经网络输出的密集特征图 经过密集特征纯化模块中的倒残差结构后会输出3D张量的密集特征 ,记作 ,即 ,其中

输出3D张量的密集特征的长、宽和通道数;所述密集特征融合层为一个7×7的卷积层和一个批归一化层BN组成,用于将特征空间的3D张量的密集特征 融合在一个3D张量中, ,其中3D张量 的尺寸为 ,计算公式表示为:;

其中, 表示批归一化层BN, 表示缩放参数, 表示平移参数, 为3D张量的密集特征 对应的特征通道数, 表示权值, 表示偏置项;然后将3D张量 进行L2范数归一化后生成深度描述符用于特征匹配。

6.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,步骤S3中,损失函数从深度描述符提取模型输出的深度描述符中找出与匹配深度描述符对距离最小的两个非匹配的深度描述符,并计算深度描述符之间的 距离,通过距离计算损失进行反向传播,优化模型参数的具体方法为:将深度描述符提取模型输出的深度描述符通过 距离构建距离矩阵, 距离计算公式为:,

其中, 为光学图像的第 个深度描述符, 为SAR图像的第 个深度描述符,表示深度描述符 和深度描述符 之间的 距离, 表示深度描述符的个数;对于每对匹配的深度描述符 ,其中为 光学图像的第 个深度描述符, 为SAR图像的第 个深度描述符, ,分别找到与深度描述符 距离最近的非匹配的深度描述符 ,与深度描述符 距离最近的非匹配的深度描述符 ,形成四元组,其中 ,然后从每对深度描述符的四元组 中形成一个三元组 ,如果

形成另一个三元组 ,损失函数的目标是最小化

匹配深度描述符对和非匹配的深度描述符之间的距离,损失函数会不断缩小匹配对之间的距离拉远非匹配对,从而在网络反向传播过程中优化网络模型,完成模型训练;损失函数计算公式为:;

式中, 表示深度描述符 与非匹配的深度描述符 的 距离,

表示深度描述符 与非匹配的深度描述符 的 距离。

7.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,步骤S4中,获得初始匹配结果的具体方法为:以步骤S1中检测到的特征点为中心获得图像块,然后将图像块输入深度描述符提取模型获得深度描述符,将获得的深度描述符进行归一化处理后,利用最邻近匹配算法进行匹配,得到深度描述符所对应的初始匹配结果。

8. 根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,通过最邻近匹配算法得到的初始匹配结果中含有欧式距离最邻近匹配点和次邻近匹配点,所述自适应阈值约束粗筛选在筛选出正确匹配对的过程中,若最邻近匹配点的距离 远小于次邻近匹配点的距离 ,则认为对应的匹配对质量好,自适应阈值约束通过统计所有初始匹配对的最邻近匹配点和次邻近匹配点间欧式距离均值作为是否保留对应的匹配点的判断依据,欧式距离均值的计算公式为:;

其中, 为参考图像即光学图像上特征点的个数, 为距离的均值, 为次邻近匹配点的距离, 为最邻近匹配点的距离,对于每一组最邻近匹配点和次邻近匹配点,当满足 时,对应的匹配对保留,否则剔除对应的匹配对。

9.根据权利要求8所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,所述双RANSAC算法精筛选,首先,对经过自适应阈值约束粗筛选的匹配点使用RANSAC算法采用仿射变换模型进行误匹配点剔除;然后,再次使用RANSAC算法,利用单应矩阵作为几何模型,将满足几何一致性约束的特征点作为正确匹配点保留,得到正确的匹配点。

10.根据权利要求9所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法,其特征在于,所述RANSAC算法是从一组含有错误的匹配点的数据中正确估计数学模型参数的迭代算法,随机采样K个匹配点,对所述K个匹配点进行拟合得到几何变换模型,计算除所述K个匹配点外的其它点到几何变换模型的距离,距离大于阈值则认为是错误匹配点,距离小于阈值则判断为正确匹配点,经过多次的迭代选择正确匹配最多的模型,即获得最终的匹配点。