利索能及
我要发布
收藏
专利号: 2023101575895
申请人: 三峡大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合深度学习特征匹配的同步跟踪与建图方法,其特征在于,它包括以下步骤:步骤S1、采集视觉前端图像,进行初始化;

步骤S2、通过特征匹配估计运动位姿,跟踪局部地图,决定下一关键帧;

步骤S3、依据关键帧信息,构建局部地图;

步骤S4、回环检测和优化。

2.根据权利要求1所述的方法,其特征在于,在步骤S1中,使用双目相机采集视觉前端图像,使用LoFTR算法进行匹配,将匹配结果用作初始化跟踪线程,进行地图初始化;

具体步骤如下:

步骤S101、调用gpu,选取第一帧双目图像记录为关键帧,使用LoFTR算法通过gpu运算进行匹配,输出格式为[mkpts0,mkpts1,mconf];其中mkpts0、mkpts1分别为特征点在左右目图像中的坐标信息,mconf为匹配对置信度;

步骤S102、记录匹配对在左右目图像上的特征点坐标;使用Brief描述符提取器,在特征点处提取各自相应描述符,格式为[desp0,desp1];使用特征点坐标进行特征点三角化,计算特征点3D坐标,更新初始位姿信息;

步骤S103、创建并初始化地图,将关键帧插入地图,将第一个关键帧3D坐标初始化为地图点。

3.根据权利要求2所述的方法,其特征在于,在步骤S101中,在使用LoFTR算法进行匹配时,采用以下步骤:步骤S101‑1、通过特征提取网络提取粗略级别特征图F1、精细级别特征图F3步骤S101‑2、对粗略级别特征图F1进行位置编码,并计算多头交叉注意力,输出特征图′F1;

步骤S101‑3、对特征图F1使用dual‑softmax算法进行匹配,使用互近邻MNN算法筛选匹配对,最终输出粗略级别特征匹配Mc;

步骤S101‑4、将粗略级别特征匹配Mc映射在精细级别特征图F3中,裁剪出目标大小的窗口,再次提取特征并匹配,最后筛选出精细级别特征匹配Mf,作为最终输出结果。

4.根据权利要求1所述的方法,其特征在于,在步骤S2中,通过特征匹配跟踪估计运动位姿,跟踪局部地图,决定下一关键帧;

具体包括以下步骤:

步骤S201、为保证跟踪主线程的实时性,使用ORB特征匹配,依次通过步骤S201‑1、步骤S201‑2、步骤S201‑3三种跟踪模型进行帧间跟踪,输出相机位姿信息,用以局部地图跟踪;

任一模型跟踪成功,等待该跟踪模型步骤完成后,进入步骤S202;

步骤S201‑1、使用恒速模型进行跟踪,步骤如下:步骤(1)利用上一帧解算的位姿,通过恒速运动模型估计当前初始位姿,保存当前恒速模型;

步骤(2)利用上一帧解算的临时地图点,投影到当前坐标系,将两帧中描述子进行匹配,当搜索到欧式距离小于阈值的匹配点数大于一定数量,则跟踪成功;

步骤(3)将重投影误差作为目标函数,使用最小二乘法优化当前帧位姿,剔除优化过程中的外点;

重投影误差计算公式如下:

其中e为重投影误差;P为上一帧特征点在世界坐标系的坐标,u为上一帧投影在当前帧的像素坐标,s为深度值与实际距离的转换参数,K为相机内参,ζ为此时相机位姿对应的李代数,exp(ζ)是ζ从向量到矩阵的对数映射;以所有跟踪特征点重投影误差之和作为优化目标函数,使用最小二乘法优化;

步骤S201‑2、参考上一关键帧信息进行跟踪,步骤如下:步骤(1)选取具有共视关系的一级、二级关键帧参考;

步骤(2)使用词袋BoW加速当前帧与参考帧的匹配,如果搜索到欧式距离小于阈值的匹配点数大于一定数量,将上一帧位姿作为当前帧初始值;

步骤(3)使用重投影误差优化当前位姿并计算内点,若内点数大于一定数量则跟踪成功;

步骤S201‑3、使用重定位进行跟踪,步骤如下:步骤(1)计算当前帧BoW词袋向量,并用词袋找到相似的候选关键帧;

步骤(2)将候选关键帧与当前帧进行特征匹配和位姿估计;

步骤(3)进行重投影误差优化,内点数量大于一定数量,则认为跟踪成功;

优选的,步骤S201‑1中临时地图点不计入地图点,在跟踪完毕后删除;

步骤S202、判断当前帧是否为关键帧;步骤S202条件如下:条件(1)当前帧跟踪到的匹配点内点数与匹配点总数的比值小于阈值,插入关键帧;

条件(2)当前帧跟踪到的特征点少于一定数量,插入关键帧;

条件(3)当局部建图闲置,或不满足(1)、(2)任意一个条件时,每隔一定帧数插入关键帧;

满足以上任意条件,将当前帧判断为关键帧,进入步骤S3;同时进行步骤S203条件判断;

步骤S203、创建一个关键帧子线程;当新关键帧判定后,且与上一关键帧间隔帧数大于一定数量时,主线程继续进行,子线程开启;

步骤S203‑1、在子线程中,使用LoFTR算法通过gpu运算进行匹配;

包括以下步骤:

步骤(1)使用LoFTR算法仅对关键帧中的左右目图像重新进行匹配,获取2D特征匹配坐标,筛选出置信度mconf大于阈值的匹配对;

步骤(2)使用Brief描述符提取器在特征点处提取描述符,计算特征点3D坐标,更新位姿信息;

步骤(3)在该关键帧信息中额外添加LoFTR计算结果,格式为[pose,points,mkpts,desp],pose为位姿信息、points为特征点3D坐标、mkpts为2D特征点,desp为描述符;

步骤S203‑2、该子线程步骤S203‑1计算完成时,进行判断:条件(1)下一关键帧还未选定;将步骤S203‑1中3D坐标与当前局部地图点取并集;将2D特征点、描述符与主线程中ORB求解该关键帧的信息取并集;替换主线程中该关键帧的位姿信息;

条件(2)下一关键帧已选定或局部建图线程空闲;将步骤S203‑1中3D坐标与当前局部地图点取并集。

5.根据权利要求4所述的方法,其特征在于,在进行步骤S203‑2时,如果主线程处于局部地图跟踪阶段或局部建图阶段,则等待该主线程阶段完成后继续进行。

6.根据权利要求1所述的方法,其特征在于,在步骤S3中,具体采用以下步骤:步骤S301、判断关键帧后插入局部地图并更新信息;

步骤S302、选取具有共视关系的关键帧,进行地图点融合、筛选;

步骤S303、进行局部BA优化。

7.根据权利要求1所述的方法,其特征在于,在步骤S4中,具体采用以下步骤:步骤S401、检测当前关键帧队列,以共视关系分组,检测局部关键帧连续性;

步骤S402、计算Sim3相似变换,优化地图点和关键帧位姿;

步骤S403、进行地图回环融合。