利索能及
我要发布
收藏
专利号: 2022108601701
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种语义点云地图构建方法,其特征在于,包括:获取语义分割后的目标帧图像;其中,所述目标帧图像携带有语义信息;

基于所述语义信息,对所述目标帧图像进行动态目标检测,剔除所述目标帧图像中的动态像素点;

对剔除动态像素点的目标帧图像进行三维重建,生成局部点云图;

融合所述局部点云图和全局点云图,以生成语义点云地图;其中,所述全局点云图为预先基于全局角度构建的点云图;

所述语义信息包括所述目标帧图像中非主动运动物体对应的目标检测框、所述目标检测框对应的第一物体类别信息以及所述目标检测框内物体像素点对应的第二物体类别信息;

所述基于所述语义信息,对所述目标帧图像进行动态目标检测,剔除所述目标帧图像中的动态像素点,包括:遍历所述目标检测框内的物体像素点;

若所述第二物体类别信息与所述第一物体类别信息不一致,或所述非主动运动物体为运动状态,则将所述物体像素点作为动态像素点剔除。

2.如权利要求1所述的一种语义点云地图构建方法,其特征在于,所述局部点云图中包括所述目标帧图像中各物体对应的第一点云数据;所述融合所述局部点云图和全局点云图,以生成语义点云地图,包括:若所述全局点云图中存在与所述第一点云数据的物体类别信息一致的候选点云数据,则获取所述第一点云数据的第一质心以及所述候选点云数据的第二质心;

若所述第一质心与所述第二质心之间的距离小于预设阈值,则基于所述第一点云数据更新所述候选点云数据;

若所述第一质心与所述第二质心之间的距离不小于预设阈值,则将所述第一点云数据作为新增数据融合至所述全局点云图中。

3.如权利要求1所述的一种语义点云地图构建方法,其特征在于,所述局部点云图中包括所述目标帧图像中各物体对应的第一点云数据;在所述生成局部点云图之后,还包括:统计每一所述第一点云数据的平均深度以及方差;

根据所述平均深度以及所述方差,确定噪点阈值;

基于所述噪点阈值以及所述第一点云数据中每个点的深度值,对所述第一点云数据进行噪点检测,以去除所述第一点云数据中的噪点。

4.如权利要求1所述的一种语义点云地图构建方法,其特征在于,所述语义点云地图包括全局环境中各物体的第二点云数据;在所述融合所述局部点云图和全局点云图之后,还包括:将所述第二点云数据重投影至所述目标帧图像中;

若所述第二点云数据中重投影至所述目标帧图像边界之内的投影点数量大于第一阈值,则检测所述第二点云数据在所述目标帧图像中的对应位置是否存在目标物体;其中,所述目标物体用于指示所述第二点云数据对应的物体;

若不存在,则删除所述第二点云数据。

5.如权利要求4所述的一种语义点云地图构建方法,其特征在于,所述检测所述第二点云数据在所述目标帧图像中的对应位置是否存在目标物体,包括:从所述目标帧图像中提取与所述投影点存在交集且物体类别信息一致的候选检测框;

统计所述第二点云数据中与所述候选检测框之间存在交集的交集点数量;

若所述交集点数量小于第二阈值,则确定不存在目标物体。

6.如权利要求5所述的一种语义点云地图构建方法,其特征在于,所述删除所述第二点云数据,包括:分别计算所述第二点云数据的第一平均深度以及所述候选检测框的第二平均深度;

若所述第一平均深度小于所述第二平均深度,则删除所述第二点云数据。

7.如权利要求1‑6任一项所述的一种语义点云地图构建方法,其特征在于,在所述剔除所述目标帧图像中的动态像素点之后,所述语义点云地图构建方法还包括:基于所述语义信息,检测目标帧图像中的背景点;

对所述背景点进行三维重建,生成背景点云图;

根据所述背景点云图,更新所述全局点云图。

8.一种语义点云地图构建系统,其特征在于,包括:数据获取模块,用于获取语义分割后的目标帧图像;其中,所述目标帧图像携带有语义信息;

动态目标检测模块,用于基于所述语义信息,对所述目标帧图像进行动态目标检测,剔除所述目标帧图像中的动态像素点;

局部点云图生成模块,用于对剔除动态像素点的目标帧图像进行三维空间转换,生成局部点云图;

语义点云地图构建模块,用于融合所述局部点云图以及全局点云图,以生成语义点云地图;其中,所述全局点云图为预先基于全局角度构建的点云图;

所述语义信息包括所述目标帧图像中非主动运动物体对应的目标检测框、所述目标检测框对应的第一物体类别信息以及所述目标检测框内物体像素点对应的第二物体类别信息;

所述动态目标检测模块包括遍历单元以及动态检测单元;

遍历单元,用于遍历所述目标检测框内的物体像素点;

动态检测单元,用于若所述第二物体类别信息与所述第一物体类别信息不一致,或所述非主动运动物体为运动状态,则将所述物体像素点作为动态物体像素点剔除。

9.一种智能机器人,其特征在于,包括传感器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6任一项或者权利要求7所述的一种语义点云地图构建方法。