利索能及
我要发布
收藏
专利号: 2022106690753
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉图像与稀疏点云后融合的目标定位方法,该方法包括:

步骤1:采用摄像头获取实时2D图像数据;

步骤2:采用激光雷达获取实时三维扫描点云数据;

步骤3:将步骤1得到的2D图像数据和步骤2得到的三维点云数据根据时间戳进行了时间同步,采用联合标定的方法进行空间同步;

步骤4:对步骤1得到的2D图像数据进行目标检测得到2D图像检测结果,根据检测框的像素尺寸排出远处小物体;并根据检测结果采用SORT跟踪方法进行多目标跟踪;

步骤5:将步骤2得到的三维扫描点云数据以扫描点为中心将获得点云数据按照空间位置等分为多个扇区,在各扇区内对点云数据分成扇环;

扇环分割方法为:设置距离参数 和 当每个点满足式(1)时,认为该点在第j个扇环,其中,(xi+yi)为第i个数据点的在X‑Y平面的投影坐标;

步骤6:将笛卡尔坐标系转化为类似于极坐标系的形式,在d‑z平面进行直线拟合;

其中,θ表示数据点所在激光线与Z轴的夹角;

设置数据点所在激光线的斜率阈值,数据点所在激光线与Z轴的夹角阈值,数据点所在激光线直线拟合误差阈值,根据这些阈值,判断数据点是否为地面点云数据,并剔除地面点云数据;

步骤7:分割剩余的点云数据,再对分割后的点云数据进行聚类,得到目标的3D信息包括位置、尺寸;

步骤8:将步骤4识别的2D检测结果和步骤7聚类出的3D目标进行关联,将步骤7得到的各目标通过步骤3得到的视觉投影矩阵映射到图像中,如果投影点落在2D检测框,则将2D检测结果与3D聚类结果进行关联,否则,关联失败。

2.如权利要求1所述的一种基于视觉图像与稀疏点云后融合的目标定位方法,其特征在于,在步骤4中改进多目标跟踪方法SORT,在匹配时除了考虑IOU之外加入目标特征,通过计算目标特征相似度与IOU的方法判定是否为同一目标。

3.如权利要求2所述的一种基于视觉图像与稀疏点云后融合的目标定位方法,其特征在于,所述步骤7的具体方法为:步骤7.1:建立KD‑Tree,循环依次选取三维点云的各维度作为切分维度,取三维点云在该维度的中值作为切分超平面,将中值左侧的三维点云挂载在左子树,中值右侧的三维点云挂载在右子树;依次递归处理其子树,直至所有的点云被组织;

步骤7.2:从根节点开始自上而下访问数据,计算该数据与叶子结点之间的距离,其中最小距离Dis对应的数据点记为Nearest,进行回溯操作找到距离数据更近的最邻近点,判断在未被访问的分支中是否存在距离数据更近的点,更新最近邻点Nearest和最小距离Dis,在搜索过程中规定最小和最大搜索阈值,搜索结果小于最小阈值时放弃该类点云的分割,搜索结果过多时采用最大搜索阈值进行约束,完成离散点云实例分割;

步骤7.3:采用DBSCAN方法对分割的点云数据进行聚类。

4.如权利要求3所述的一种基于视觉图像与稀疏点云后融合的目标定位方法,其特征在于,所述步骤8中将聚类得到的目标点云通过视觉投影到图像,如果其中60%的激光点落到2D图像检测框内,则关联成功,否则关联失败。