1.一种基于点云带权通道特征的三维目标检测方法,其特征在于,所述检测方法包括:通过预训练的深度卷积神经网络对二维图像中的目标进行提取,得到多个目标物;
基于各目标物,在对应的三维点云空间中确定点云视锥;
基于点云的分割网络,对视锥中的点云进行分割,获得感兴趣的点云;
基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数,进行三维目标检测;所述3D Box的参数包括中心、尺寸、角度及角点;
“基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数”具体包括:
基于带权通道特征的网络,计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失;
根据视锥中点云分割产生的分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失,计算总的损失函数;
根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数;
所述总的损失函数为:
L=Lseg+λ(Lcenter+Lsize‑reg+Lsize‑cls+Langle‑reg+Langle‑cls)+γLcornerLcenter=Hingleδ=2.0(x)Lsize‑reg=Hingleδ=1.0(x)其中,L表示总的损失函数,Lseg表示分割损失,Lcenter、Lsize‑cls、Lsize‑reg、Langle‑cls、Langle‑reg分别表示3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失,Lcorner表示3D Box的角点损失,λ表示3D Box的中心,角度以及尺寸损失权重,γ表示的是角点损失的权重,Hingle表示Hingle损失函数。
2.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法,其特征在于,通过以下公式,得到多个目标物:
x,y,w,h=Net(I);
其中,I表示的是二维图像,Net表示的是深度卷积神经网络;每个目标物的位置可以用一个2D Box的中心点坐标(x,y),长h,宽w表示。
3.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述基于各目标物,在对应的三维点云空间中确定点云视锥,具体包括:将在Lidar传感器坐标系上的点xvel转换为摄像机的坐标系上的点xcam:其中, 是坐标系的变换矩阵;
将摄像机的坐标系上的点xcam投影到二维图像上的像素点ximg:ximg=Pxcam;
其中,P表示相机坐标系到二维图像坐标系的投影矩阵;
根据各目标物,确定所有投影到目标物上点云,所有投影到目标物上点云为所述点云视锥。
4.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述基于点云的分割网络,对视锥中的点云进行分割,获得感兴趣的点云,具体包括:基于点云的分割网络,计算视锥中的点云属于感兴趣点的概率:pi=f(xi,θ);
其中,xi表示视锥中的第i个点云,θ表示的是网络训练的参数,pi表示第i个点云xi属于感兴趣点的概率,f表示基于点云分割的网络;
根据各点云属于感兴趣点的概率与设定的概率阈值,确定获得感兴趣的点云。
5.根据权利要求4所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述根据各点云属于感兴趣点的概率与设定的概率阈值,确定获得感兴趣的点云,具体包括:如果点云属于感兴趣点的概率大于0.5,则判断为该点云感兴趣的点云,否则为非感兴趣点:
其中,Maski表示的是第i个点云的掩码,其取值为1或者0。
6.根据权利要求4所述的基于点云带权通道特征的三维目标检测方法,其特征在于,所述分割损失的获取方法为:
交叉熵损失函数:
*
其中,y,y分别代表的是真实类别以及预测的结果;
分割损失:
*
Lseg=Entropy_Loss(y,y)。
7.根据权利要求6所述的基于点云带权通道特征的三维目标检测方法,其特征在于,分别根据以下公式,分别计算3D Box的尺寸分类损失、角度的分类损失、残差角度的回归损失、角点损失:
(1)3D Box的尺寸分类损失:*
Lsize‑cls=Entropy_Loss(y,y);
(2)3D Box的角度的分类损失:*
Langle‑cls=Entropy_Loss(y,y);
(3)3D Box的残差角度的回归损失:(4)角点损失:
其中,S表示的是3D Box尺寸模板的数目,m=1,2,…S,H表示的是3D Box方向角模板的数目,n=1,2,…,H, 表示的是第k个角点中的第i个尺寸模板第j个方向角模板的真实坐标, 是预测出的第k个角点坐标, 是对3D Box绕着竖直方向旋转了180度后的角点坐标;δij表示的是第i个尺寸第j个方向模板的真实标签,i、j表示下标。
8.一种基于点云带权通道特征的三维目标检测系统,其特征在于,所述检测系统包括:提取单元,用于通过预训练的深度卷积神经网络对二维图像中的目标进行提取,得到多个目标物;
确定单元,用于基于各目标物,在对应的三维点云空间中确定点云视锥;
分割单元,用于基于点云的分割网络,对视锥中的点云进行分割,获得感兴趣的点云;
估计单元,用于基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数,进行三维目标检测;所述3D Box的参数包括中心、尺寸、角度及角点;
“基于带权通道特征的网络,对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数”具体包括:
基于带权通道特征的网络,计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失;
根据视锥中点云分割产生的分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失,计算总的损失函数;
根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计,得到3D Box的参数;
所述总的损失函数为:
L=Lseg+λ(Lcenter+Lsize‑reg+Lsize‑cls+Langle‑reg+Langle‑cls)+γLcornerLcenter=Hingleδ=2.0(x)Lsize‑reg=Hingleδ=1.0(x)其中,L表示总的损失函数,Lseg表示分割损失,Lcenter、Lsize‑cls、Lsize‑reg、Langle‑cls、Langle‑reg分别表示3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失,Lcorner表示3D Box的角点损失,λ表示3D Box的中心,角度以及尺寸损失权重,γ表示的是角点损失的权重,Hingle表示Hingle损失函数。