利索能及
我要发布
收藏
专利号: 2022105524722
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述方法包括以下步骤:步骤1,单目相机标定;

步骤2,获取相机图像并检测到2D目标对象和目标类别;

步骤3,获取三维激光雷达的点云并预处理;

步骤4,对预处理后的点云进行地面剔除;

步骤5,对地面剔除后的点云进行聚类,得到聚类后的点云和各类点云对应的3D边界框;

步骤6,对聚类后的点云进行分类并进行非目标剔除;

步骤7,基于非目标剔除后的点云和3D边界框获取2D投影框;

步骤8,基于2D目标对象和2D投影框,输出融合后的3D目标点云。

2.如权利要求1所述的一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述单目相机通过张正友棋盘格标定法标定。

3.如权利要求1所述的一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述步骤2包括以下步骤:步骤2.1,使用标定后的单目相机获取相机图像,步骤2.2,通过目标检测网络在相机图像上框选目标,得到2D目标对象及目标类别。

4.如权利要求1所述的一种融合三维激光雷达的单目相机的3D目标检测方法,其特征在于,所述步骤3包括以下步骤:步骤3.1,以三维激光雷达的安装位置为坐标原点,采用右手坐标系建立三维激光雷达坐标系;

步骤3.2,设定三维激光雷达感兴趣区域ROI,并提取感兴趣区域ROI内的扫描点构成点云P={p(x,y,z)|p∈ROI},其中p(x,y,z)为扫描点在三维激光雷达坐标系中的坐标;

步骤3.3,对点云在三维激光雷达坐标系的坐标信息进行数据降噪。

5.如权利要求4所述的一种融合三维激光雷达的单目相机的3D目标检测方法,其特征在于,所述感兴趣区域ROI为‑Rmax<x<Rmax,且‑Rmin<y<Rmin,Rmax为三维激光雷达前后两侧半径,Rmin为三维激光雷达的左右两侧半径,x轴为三维激光雷达前进方向,x轴与y轴在水平面上呈90°。

6.如权利要求4所述的一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述数据降噪包括以下步骤:2

设定邻域半径R,搜寻每一扫描点pj(xj,yj,zj)在邻域内的点集Pj={(x,y,z)|(x‑xj) +

2 2

(y‑yj) ≤R},其中,j为点云的索引,j=1,2,3…,Pj∈P;

通过中值滤波算法分别计算各点集Pj在Z轴上的中值Zm,并以中值Zm替代对应的扫描点pj(xj,yj,zj)在Z轴上的坐标值zj。

7.如权利要求1所述的一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述步骤4包括以下步骤:步骤4.1,初始化i=0,在预处理后的点云中随机选择三个扫描点作为初始平面子集点,构建平面;

步骤4.2,根据其余扫描点与平面间的距离,确定其余扫描点是否属于平面;

步骤4.3,当属于平面的扫描点数量大于预设阈值时,则该平面为地面点云平面并执行步骤4.4,否则直接执行步骤4.4;

步骤4.4,令i=i+1,并判断i>c,c为最大迭代次数,若是,则从点云中剔除地面点云平面所包含的扫描点,否则执行步骤4.5;

步骤4.5,在预处理后的点云中重新随机选择三个不同的扫描点,构建新的平面,并返回步骤4.2。

8.如权利要求1所述的一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述步骤6包括以下步骤:步骤6.1,从聚类后的点云中提取n个维度的m个特征;

步骤6.2,基于每一扫描点提取到的特征值集合构建特征向量;

步骤6.3,基于特征向量,采用基于支持向量机的点云分类模型对扫描点进行分类,得到点云的目标类别;

步骤6.4,在聚类后的点云中剔除不属于目标的扫描点。

9.如权利要求6所述的一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述步骤7包括以下步骤:步骤7.1将非目标剔除后的点云及3D边界框按式(3)和式(4)投影到展平的圆柱面上,得到投影坐标ximg和yimg,其中h_res和v_res分别表示激光雷达的水平分辨率和垂直分辨率;

步骤7.2,选取所有投影点中坐标值最小的点作为坐标原点,更新投影点坐标,得到3D雷达的2D投影框。

10.如权利要求9所述的一种融合三维激光雷达和单目相机的3D目标检测方法,其特征在于,所述步骤8包括以下步骤:步骤8.1,计算每个2D目标对象和2D投影框的IOU值,并构建n×m的IOU矩阵,n为2D目标对象的数量,m为2D投影图的数量;

步骤8.2,遍历IOU矩阵,当任一IOU值大于设定的IOU阈值t,将2D投影框内的投影点对应的点云作为目标点云进行输出,同时将2D目标对象的目标类别作为3D目标类别输出。