利索能及
我要发布
收藏
专利号: 2022108457452
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于语义的定位与建图方法,其特征在于,包括:

获取当前帧图像对应的矢量特征网络;其中,所述矢量特征网络中的矢量特征用于描述所述当前帧图像中每两个图像特征点之间的关联性;

对所述矢量特征网络进行剪枝处理,去除无关特征,以将所述矢量特征网络划分为若干个矢量簇;其中,所述矢量簇用于指示相同目标的矢量特征集;

检测每一所述矢量簇的运动状态,确定动态特征簇;

获取动态目标的模糊区域;其中,所述模糊区域为所述动态特征簇对应的最小包围多边形;

结合所述当前帧图像的语义分割结果,优化所述模糊区域,得到所述动态目标的精确区域,并剔除所述精确区域内的动态特征点;

基于最小化重投影误差方式根据所述当前帧图像中的静态特征点进行位姿估计;

基于剔除动态特征点的当前帧图像以及位姿估计得到的位姿信息,增量式更新八叉树语义地图。

2.如权利要求1所述的一种基于语义的定位与建图方法,其特征在于,所述获取当前帧图像对应的矢量特征网络,包括:对所述当前帧图像进行三角剖分,获取三角剖分网络作为所述矢量特征网络;其中,所述三角剖分网络中每条连接两个所述图像特征点的边作为所述矢量特征。

3.如权利要求1所述的一种基于语义的定位与建图方法,其特征在于,所述对所述矢量特征网络进行剪枝处理,去除无关特征,包括:若所述矢量特征的长度大于第一阈值,则根据所述矢量特征的深度值拟合深度曲线;其中,所述深度曲线用于描述所述矢量特征的深度变化;

若深度曲线上存在目标点的梯度值大于第二阈值,则将所述矢量特征作为无关特征去除;其中,所述目标点在所述矢量特征在三维坐标系下所对应的坐标范围内;

若所述矢量特征的长度不大于第一阈值,则计算所述矢量特征关联的两个所述特征点之间的深度值差;

若所述深度值差大于第三阈值,则将所述矢量特征作为无关特征去除。

4.如权利要求1所述的一种基于语义的定位与建图方法,其特征在于,所述检测每一所述矢量簇的运动状态,包括:对第一矢量簇以及第二矢量簇进行特征匹配,若所述第一矢量簇中与所述第二矢量簇匹配成功的矢量特征数小于第五阈值,则将所述第一矢量簇作为动态特征簇;

其中,所述第一矢量簇为所述当前帧图像对应的矢量簇;所述第二矢量簇为上一帧图像对应的矢量簇。

5.如权利要求4所述的一种基于语义的定位与建图方法,其特征在于,所述矢量特征通过绝对坐标和描述子表征;所述对所述第一矢量簇以及第二矢量簇进行特征匹配,包括:遍历所述第一矢量簇中每一第一矢量特征,并从所述第二矢量簇中获取第二矢量特征;其中,所述第二矢量特征为与所述第一矢量特征的描述子匹配的矢量特征;

基于所述绝对坐标,对所述第一矢量特征以及所述第二矢量特征进行匹配验证,若验证通过,则所述第一矢量特征匹配成功;

若所述第一矢量簇中匹配成功的第一矢量特征数小于所述第五阈值,则将所述第一矢量簇作为动态特征簇。

6.如权利要求1所述的一种基于语义的定位与建图方法,其特征在于,所述结合所述当前帧图像的语义分割结果,优化所述模糊区域,得到所述动态目标的精确区域,包括:若所述语义分割结果中任一语义目标的语义分割区域与所述模糊区域之间的重合面积大于第六阈值,则将所述语义分割区域作为所述动态目标的模糊区域。

7.如权利要求1所述的一种基于语义的定位与建图方法,其特征在于,所述基于剔除动态特征点的当前帧图像以及位姿估计得到的位姿信息,增量式更新八叉树语义地图,包括:基于所述当前帧图像以及所述位姿信息,对所述当前帧图像进行三维重建,得到语义点云图;

对所述语义点云图进行降采样,得到第一点云图;

对所述第一点云图进行降噪处理,去除所述第一点云图中的噪点,得到目标点云图;

基于所述目标点云图,增量式更新八叉树语义地图;其中,所述八叉树语义地图中的每一体素节点包含所述体素节点被占据的占据概率。

8.如权利要求1‑7任一项所述的一种基于语义的定位与建图方法,其特征在于,在所述检测每一所述矢量簇的运动状态之前,还包括:对每一所述矢量簇进行检测分析,判断所述矢量簇是否为背景;

若所述矢量簇为背景,则去除所述矢量簇;

所述检测每一所述矢量簇的运动状态,包括:检测每一非背景的矢量簇的运动状态。

9.一种基于语义的定位与建图系统,其特征在于,包括:矢量特征网络获取模块,用于获取当前帧图像对应的矢量特征网络;其中,所述矢量特征网络中的矢量特征用于描述所述当前帧图像中每两个图像特征点之间的关联性;

剪枝模块,用于对所述矢量特征网络进行剪枝处理,去除无关特征,以将所述矢量特征网络划分为若干个矢量簇;其中,所述矢量簇用于指示相同目标的矢量特征集;

动态目标检测模块,用于检测每一所述矢量簇的运动状态,确定动态特征簇;

模糊区域获取模块,用于获取动态目标的模糊区域;其中,所述模糊区域为所述动态特征簇对应的最小包围多边形;

优化模块,用于结合所述当前帧图像的语义分割结果,优化所述模糊区域,得到所述动态目标的精确区域,并剔除所述精确区域内的动态特征点;

位姿估计模块,用于基于最小化重投影误差方式根据所述当前帧图像中的静态特征点进行位姿估计;

地图更新模块,用于基于剔除动态特征点的当前帧图像以及位姿估计得到的位姿信息,增量式更新八叉树语义地图。

10.一种智能机器人,其特征在于,包括传感器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项或者8所述的一种基于语义的定位与建图方法。