利索能及
我要发布
收藏
专利号: 2017100181621
申请人: 山东大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的机器人闭环检测方法,其特征在于:

(1)获取首帧环境的RGB图像和三维数据,将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像,将所述RGB+DEPTH四通道图像输入到卷积神经网络中,采用卷积神经网络的中间层输出作为首帧的特征提取结果;

(2)采用(1)的方法获取连续N帧的特征提取结果;

(3)将第N帧与第M帧的特征提取结果进行特征匹配,根据特征匹配结果判断闭环是否发生,其中M+1

对机器人的摄像机进行标定,得到摄像机的内外参数,根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面,并采用像素插值结合平滑处理方法生成对应的深度图像;

选取多个关键帧作为候选帧集合,第M帧出自于所述候选帧集合;

将第N帧与第M帧的特征提取结果记为第1结果,将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配,并记为第w结果,其中w>1,第M帧相邻帧为以第M帧为中心的前后多帧;若第1结果判断发生闭环,且第w结果也判断发生闭环,则决策认为发生真闭环;若第1结果判断发生闭环,且第w结果判断未发生闭环,则决策认为发生伪闭环。

2.根据权利要求1所述的方法,其特征在于:所述深度图像与RGB图像并联生成RGBD四通道图像。

3.根据权利要求1所述的方法,其特征在于:所述卷积神经网络采用预训练神经网络Alexnet或基于Places数据库对预训练网络再训练和参数调优的数据库。

4.根据权利要求1所述的方法,其特征在于:采用相似性矩阵对第N帧与第M帧的特征提取结果进行特征匹配,用于避免根据特征匹配结果做出伪闭环的判断。

5.根据权利要求4所述的方法,其特征在于:对所述相似性矩阵进行特征值分解,得到降秩后的相似性矩阵,用于避免根据特征匹配结果做出伪闭环的判断。

6.一种机器人,包括摄像机,其特征在于:还配置有三维激光扫描仪,采用如权利要求

1-5任一项所述的闭环检测方法判断闭环是否发生。