利索能及
我要发布
收藏
专利号: 2024107031625
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种动态场景下视觉SLAM方法,其特征在于,包括以下步骤:(1)开源网站获取原始RGB图片,并进行实例分割;具体如下:使用MASK‑RCNN实例分割网络对系统输入的RGB图像进行逐像素的语义分割以及示例标号;其中,网络的输入是m*n*

3的RGB图片,输出为二进制掩膜的文本文件;其中,静态背景以及还未被定义为动态物体的对应像素位置定义为0,将场景中运动的人标为同一类,并依次定义为1,2,..,n,实现对训练模型中的物体进行动态检测;

(2)根据实例分割后留下的静态特征点,利用改进后图像金字塔的LK光流法进行特征点跟踪;具体如下:通过使用融合图像金字塔的LK光流法对高层图像向低层图像的特征跟踪进行传递,得到光流值;最后采用结合Z‑score和距离的方法判断平行动态特征点;其中,LK光流法基于以下三个假设得到每个像素的光流值:(A)灰度不变假设:同一个地图点的像素灰度在不同图像帧里的灰度是不变的;

(B)时间持续性假设:图像上相机的移动随时间的变化缓慢即时间的变化并不会引起像素的剧烈变化,像素灰度值对位置求对应的偏导数;

(C)空间一致性假设:场景中相同表面的相邻点具有相似的运动,并且其投影到图像平面上的距离也比较近;

结合Z‑score和距离的方法判断平行动态特征点公式如下:;

其中,Zi表示每个光流值的Z‑score得分, 表示单张图片第i个像素的光流值, 和分别表示单张图片所有光流的平均值和标准差;

计算每个光流值与其他所有光流值的平均距离 ;

其中,n是单张图片光流值的数目, 表示单张图片第j个像素的光流值;

将Z‑score和平均距离结合起来,得到:;

其中, 表示第i个像素的联合得分,设定阈值T,若第i个像素的联合得分超过T,则当前像素的判断值 为True,将当前像素视为动态特征点,剔除;反之,若为False,则当前像素为静态特征点,保留;

(3)利用光流跟踪匹配结果计算相邻两帧的图像的基础矩阵,对相机位姿进行初步估计,同时采用改进的融合动态概率的多视图几何方法对未被检测出的动态特征点进行筛查;

具体如下:设特征匹配点对分别为 , ,采用基础矩阵F21进行几何约束 :

其中, 和 分别表示极线 ;

计算 点到极线l2的距离 :

结合前一帧的特征点动态概率判断是否为动态特征点,公式如下:;

其中, 表示当前帧中第i个特征点到极线的距离, 为当前距离中的最大值; 为当前帧中第i个特征点的动态概率, 为前一帧中对应匹配点的动态概率;ω是系数因子,当计算得到动态概率大于设定阈值时,将当前特征点视为动态点;否则,当计算出的的距离小于设定阈值时,认为当前特征点为静态特征点;

(4)对于当前帧中每一个被移除的动态物体,修复被遮挡的背景,合成没有动态物体的图片;其中包含了环境的静态结构;具体如下:将当前帧前20帧图片中的静态信息投影到当前帧,填补空白区域;其中,将当前帧前20帧图片不包含当前帧;静态信息包括RGBD图像信息和深度信息;

(5)利用估计的相机位姿三角化得到三维地图点,并通过视觉重投影误差优化相机位姿;

(6)选取关键帧生成新的地图点进行局部光束平差法优化,同时优化相机位姿和地图点;

(7)通过查询视觉词袋数据库、计算欧式变换、闭环融合以及本质图优化进行回环检测和回环优化。