利索能及
我要发布
收藏
专利号: 2019102377880
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于前后帧进行特征匹配的双目惯导SLAM系统,所述系统包括双目信息采集、特征提取与匹配模块,IMU模块,双窗口非线性优化模块,局部建图模块,回环检测及优化模块;所述双目信息采集、特征提取与匹配模块包括双目特征提取子模块和估计帧间运动子模块;所述IMU模块包括IMU信息采集子模块和运动估计子模块;所述双窗口非线性优化模块包括双窗口窗子模块,跟踪和优化局部地图子模块,关键帧子模块;所述局部建图模块包括插入关键帧模块、检查点云图模块和检查关键帧子模块;所述回环检测及优化模块包括回环检测子模块、计算相似变换、闭环融合和全局优化子模块。

2.如权利要求1所述的一种基于前后帧进行特征匹配的双目惯导SLAM系统,其特征在于,所述双目信息采集、特征提取和匹配模块中,双目特征提取子模块获取双目采集的图片,特征提取子模块,用blob和角点算子对左右相机采集的数据进行处理,获得图像中的特征候选者,提取候选特征点的描述子,用极线搜索的方式匹配,通过四张图片匹配,将当前帧中的特征点与前一帧进行匹配。即从当前帧左图中的特征点开始与当前帧右图匹配,当前帧右图与前一帧右图匹配,然后前一帧右图与前一帧左图匹配,再前一帧左图与当前帧左图匹配,如果最后匹配的特征与起始匹配一致,则确定为特征点,同时也进行左右匹配;

估计帧间运动子模块根据匹配的特征点,可以通过RANSAC算法和PnP算法估计当前帧和前一帧之间帧间运动。

3.如权利要求1或2所述的一种基于前后帧进行特征匹配的双目惯导SLAM系统,其特征在于,所述IMU模块中,IMU信息采集子模块获取移动机器人运动数据角速度和加速度;运动估计子模块通过积分对IMU数据进行处理,然后计算出连续图像两帧之间的帧间运动增量,得到机器人的运动模型与机器人当前的位姿估计。

4.如权利要求1或2所述的一种基于前后帧进行特征匹配的双目惯导SLAM系统,其特征在于,所述双窗口非线性优化模块中,双窗口子模块采用双窗口结构组织变量进行优化和相关观测,在前端建立双窗口结构,它由一个时间窗口和一个空间窗口组成,空间窗口包含关键帧和观察点的位姿之间的约束,除了这样的位姿点约束之外,时间窗口使用来自IMU的读数使最近帧的连续位姿相关的约束,有了这些约束条件,两个窗口中涉及的所有变量都可以通过非线性优化来完善;跟踪和优化局部地图子模块跟踪特征点并在在局部地图上执行非线性优化,它不仅改进了当前帧的位姿估计,而且改进了双窗口中帧和点的位姿;关键帧子模块根据关键帧选取规则确定当前帧是否是关键帧,若是关键帧,则为新帧创建新的地图点。

5.如权利要求1或2所述的一种基于前后帧进行特征匹配的双目惯导SLAM系统,其特征在于,所述局部建图模块中,插入关键帧子模块将双窗口优化过的关键帧插入在局部地图,局部地图会在新关键帧和其连接的关键帧之间创建新的地图点;检查地图点云子模块移除局部地图中异常的地图点;检查关键帧子模块删除冗余的关键帧。

6.如权利要求1或2所述的一种基于前后帧进行特征匹配的双目惯导SLAM系统,其特征在于,所述回环检测及优化模块中,回环检测子模块通过词袋模型将当前帧在数据库中关键帧集合进行查询,检测回环;计算相似变换子模块用于如果一个候选关键帧有一个SE(3)变换,并且有足够的匹配特征支持新的关键帧,那么我们接受候选者作为闭环关键帧,然后,闭环关键帧中观察到的地图点和新关键帧匹配。闭环融合子模块,将匹配的点云进行数据融合,并更新关键帧位姿;全局优化子模块优化所有的关键帧和三维点的位姿,减少累积误差。