利索能及
我要发布
收藏
专利号: 2020104083653
申请人: 小狗电器互联网科技(北京)股份有限公司
专利类型:发明专利
专利状态:无效专利
更新日期:2026-08-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维语义地图构建方法,其特征在于,所述方法包括:

获取相同时刻移动机器人的深度摄像头采集到的点云数据和该移动机器人的彩色摄像头采集到的图像信息;

对所述图像信息进行识别得到图像识别结果,对所述点云数据进行处理以得到点云地图;

根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述图像信息与所述点云地图是否匹配;其中,所述视角模型用于表征所述点云数据与所述图像信息中的像素点之间的位置对应关系;

在所述图像信息与所述点云数据匹配时,根据所述图像识别结果对所述点云地图进行标识以得到所述移动机器人的三维语义地图。

2.根据权利要求1所述的三维语义地图构建方法,其特征在于,根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述图像信息与所述点云地图是否匹配,包括:判断所述点云地图中的物体轮廓的形状与所述图像信息对应的图像识别结果是否匹配;

在匹配时,根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述点云地图中的物体轮廓的位置与该物体轮廓对应的图像识别结果在所述图像信息中的位置是否匹配,其中,在点云地图中的物体轮廓的位置与该物体轮廓对应的图像识别结果在所述图像信息中的位置匹配时,所述图像信息与所述点云地图匹配。

3.根据权利要求2所述的三维语义地图构建方法,其特征在于,判断所述点云地图中的物体轮廓的形状与所述图像信息对应的图像识别结果是否匹配,包括:从预设数据库中查找与所述点云地图中的物体轮廓的形状对应的预识别结果;

判断所述预识别结果中是否存在与所述图像识别结果匹配一致的目标预识别结果。

4.根据权利要求3所述的三维语义地图构建方法,其特征在于,在匹配时,根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述点云地图中的物体轮廓的位置与该物体轮廓对应的图像识别结果在所述图像信息中的位置是否匹配,包括:在存在与所述图像识别结果匹配一致目标预识别结果时,获取该目标预识别结果对应的物体轮廓包含的点云数据的位置,以及获取所述图像识别结果在所述图像信息中的像素点位置;

根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述目标预识别结果对应的物体轮廓包含的点云数据的位置与所述图像识别结果在所述图像信息中的像素点位置是否匹配,其中,在所述目标预识别结果对应的物体轮廓包含的点云数据的位置与所述图像识别结果在所述图像信息中的像素点位置匹配时,所述图像信息与所述点云地图匹配。

5.根据权利要求4所述的三维语义地图构建方法,其特征在于,根据所述图像识别结果对所述点云地图进行标识以得到所述移动机器人的三维语义地图,包括:根据所述图像识别结果,对所述点云地图中与该图像识别结果匹配的目标预识别结果对应的物体轮廓的形状进行标识,以得到所述移动机器人的三维语义地图。

6.根据权利要求1所述的三维语义地图构建方法,其特征在于,所述视角模型利用目标点在世界坐标系的第一位置、在相同时刻下该目标点对应成像在所述深度摄像头采集到的点云数据对应的点云图像中的第二位置,以及该目标点成像在所述彩色摄像头采集到的图像信息中的第三位置进行计算得到,其中,利用所述第一位置、第二位置以及第三位置得到所述视角模型的步骤包括:建立所述目标点在世界坐标系的第一位置与该目标点在所述点云地图中的第二位置的转换关系;

根据所述深度摄像头的相机内参、所述彩色摄像头的所述彩色摄像头的焦距以及所述对应关系得到所述视角模型。

7.根据权利要求1所述的三维语义地图构建方法,其特征在于,对所述图像信息进行识别得到图像识别结果,包括:采用图像识别算法对所述图像信息进行识别,以得到识别结果。

8.根据权利要求1所述的三维语义地图构建方法,其特征在于,对所述点云数据进行处理以得到点云地图,包括:采用SLAM算法对所述点云数据进行处理以得到点云地图。

9.一种三维语义地图构建装置,其特征在于,所述装置包括:

获取模块,用于获取相同时刻移动机器人的深度摄像头采集到的点云数据、移动机器人的彩色摄像头采集到的图像信息;

处理模块,用于对所述图像信息进行识别得到图像识别结果,对所述点云数据进行处理以得到点云地图;

判断模块,用于根据所述深度摄像头和所述彩色摄像头之间的视角模型判断所述图像信息与所述点云地图是否匹配;其中,所述视角模型用于表征所述点云数据与所述图像信息中的像素点之间的位置对应关系;

地图构建模块,用于在所述图像信息与所述点云数据匹配时,根据所述图像识别结果对所述点云地图进行标识以得到所述移动机器人的三维语义地图。

10.一种存储介质,该存储介质存储有计算机程序,其特征在于,所述计算机程序被一个或多个处理器执行时实现如权利要求1-8中任意一项所述的方法。

11.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被所述处理器执行时,执行如权利要求1-8任意一项所述的三维语义地图构建方法。

12.根据权利要求11所述的电子设备,其特征在于,所述电子设备为移动机器人,所述移动机器人还包括深度摄像头和彩色摄像头,所述深度摄像头和彩色摄像头分别与所述处理器电连接。

13.根据权利要求12所述的电子设备,其特征在于,所述深度摄像头与所述彩色摄像头位于同一水平面。