利索能及
我要发布
收藏
专利号: 2019100590020
申请人: 中国科学院自动化研究所
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于点云带权通道特征的三维目标检测方法,其特征在于,所述检测方法包括:通过预训练的深度卷积神经网络对二维图像中的目标进行提取,得到多个目标物;

基于各目标物,在对应的三维点云空间中确定点云视锥;

基于点云的分割网络,对视锥中的点云进行分割,获得感兴趣的点云;

基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数,进行三维目标检测;所述3D Box的参数包括中心、尺寸、角度及角点;

“基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数”具体包括:

基于带权通道特征的网络,计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失;

根据视锥中点云分割产生的分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失,计算总的损失函数;

根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数;

所述总的损失函数为:

L=Lseg+λ(Lcenter+Lsize‑reg+Lsize‑cls+Langle‑reg+Langle‑cls)+γLcornerLcenter=Hingleδ=2.0(x)Lsize‑reg=Hingleδ=1.0(x)其中,L表示总的损失函数,Lseg表示分割损失,Lcenter、Lsize‑cls、Lsize‑reg、Langle‑cls、Langle‑reg分别表示3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失,Lcorner表示3D Box的角点损失,λ表示3D Box的中心,角度以及尺寸损失权重,γ表示的是角点损失的权重,Hingle表示Hingle损失函数。

2.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法,其特征在于,通过以下公式,得到多个目标物:

x,y,w,h=Net(I);

其中,I表示的是二维图像,Net表示的是深度卷积神经网络;每个目标物的位置可以用一个2D Box的中心点坐标(x,y),长h,宽w表示。

3.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述基于各目标物,在对应的三维点云空间中确定点云视锥,具体包括:将在Lidar传感器坐标系上的点xvel转换为摄像机的坐标系上的点xcam:其中, 是坐标系的变换矩阵;

将摄像机的坐标系上的点xcam投影到二维图像上的像素点ximg:ximg=Pxcam;

其中,P表示相机坐标系到二维图像坐标系的投影矩阵;

根据各目标物,确定所有投影到目标物上点云,所有投影到目标物上点云为所述点云视锥。

4.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述基于点云的分割网络,对视锥中的点云进行分割,获得感兴趣的点云,具体包括:基于点云的分割网络,计算视锥中的点云属于感兴趣点的概率:pi=f(xi,θ);

其中,xi表示视锥中的第i个点云,θ表示的是网络训练的参数,pi表示第i个点云xi属于感兴趣点的概率,f表示基于点云分割的网络;

根据各点云属于感兴趣点的概率与设定的概率阈值,确定获得感兴趣的点云。

5.根据权利要求4所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述根据各点云属于感兴趣点的概率与设定的概率阈值,确定获得感兴趣的点云,具体包括:如果点云属于感兴趣点的概率大于0.5,则判断为该点云感兴趣的点云,否则为非感兴趣点:

其中,Maski表示的是第i个点云的掩码,其取值为1或者0。

6.根据权利要求4所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述分割损失的获取方法为:

交叉熵损失函数:

*

其中,y,y分别代表的是真实类别以及预测的结果;

分割损失:

*

Lseg=Entropy_Loss(y,y)。

7.根据权利要求6所述的基于点云带权通道特征的三维目标检测方法,其特征在于,分别根据以下公式,分别计算3D Box的尺寸分类损失、角度的分类损失、残差角度的回归损失、角点损失:

(1)3D Box的尺寸分类损失:*

Lsize‑cls=Entropy_Loss(y,y);

(2)3D Box的角度的分类损失:*

Langle‑cls=Entropy_Loss(y,y);

(3)3D Box的残差角度的回归损失:(4)角点损失:

其中,S表示的是3D Box尺寸模板的数目,m=1,2,…S,H表示的是3D Box方向角模板的数目,n=1,2,…,H, 表示的是第k个角点中的第i个尺寸模板第j个方向角模板的真实坐标, 是预测出的第k个角点坐标, 是对3D Box绕着竖直方向旋转了180度后的角点坐标;δij表示的是第i个尺寸第j个方向模板的真实标签,i、j表示下标。

8.一种基于点云带权通道特征的三维目标检测系统,其特征在于,所述检测系统包括:提取单元,用于通过预训练的深度卷积神经网络对二维图像中的目标进行提取,得到多个目标物;

确定单元,用于基于各目标物,在对应的三维点云空间中确定点云视锥;

分割单元,用于基于点云的分割网络,对视锥中的点云进行分割,获得感兴趣的点云;

估计单元,用于基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数,进行三维目标检测;所述3D Box的参数包括中心、尺寸、角度及角点;

“基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数”具体包括:

基于带权通道特征的网络,计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失;

根据视锥中点云分割产生的分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失,计算总的损失函数;

根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数;

所述总的损失函数为:

L=Lseg+λ(Lcenter+Lsize‑reg+Lsize‑cls+Langle‑reg+Langle‑cls)+γLcornerLcenter=Hingleδ=2.0(x)Lsize‑reg=Hingleδ=1.0(x)其中,L表示总的损失函数,Lseg表示分割损失,Lcenter、Lsize‑cls、Lsize‑reg、Langle‑cls、Langle‑reg分别表示3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失,Lcorner表示3D Box的角点损失,λ表示3D Box的中心,角度以及尺寸损失权重,γ表示的是角点损失的权重,Hingle表示Hingle损失函数。