1.多模态输入与空间划分的三维目标检测方法,其特征在于,包括以下步骤:(1)采用原始点云数据和RGB三通道彩色图像作为多模态输入;
(2)对所述原始点云数据空间划分,逐行逐列索引点云分组,每一个点云分组为原始点云数据的子集,对点云分组随机采样,每一个点云分组采样出K个点,输入到PointNet中提取特征,得到K个特征向量,通过最大池化层对这K个特征向量进行降维,得到K个local‑global特征向量;
(3)将RGB三通道彩色图像切分,经过逐行索引切片,输入到二维特征提取器VGG16中,只提取第8层纹理颜色的浅层相关特征,得到从RGB三通道彩色图像中提取的K个颜色纹理特征向量;
(4)对K个local‑global特征向量和K个颜色纹理特征向量进行融合,获得融合后的特征向量;
(5)融合后的特征向量经过全连接层,得到输出的预测结果,根据置信度,绘制BBox完成后处理任务;
步骤3中,提取RGB三通道彩色图像颜色的浅层相关特征,将RGB三通道彩色图像切分,逐行索引,一共W*H个切片,索引号为{0,1,2…W*H},其中W、H分别表示宽度方向、高度方向空间划分个数;
逐个切片输入到二维特征提取器VGG16中,只提取第8层纹理颜色的浅层相关特征,得到从RGB三通道彩色图像中提取的K个颜色纹理特征向量;
步骤2中,提取原始点云数据的特征,将原始点云数据空间划分,逐行逐列索引,一共W*H*D个点云分组,索引号为{0,1,2…W*H*D},其中W、H、D分别表示宽度方向、高度方向、深度方向空间划分个数;
根据点的分布,筛选出可能存在物体的点云分组,去除不存在物体的点云分组,如果分组中不包含点,则去除掉,不负责预测物体;
对被保留下来的点云分组随机采样,每一个点云分组采样出K个点,输入到PointNet中,得到K个特征向量,然后对这K个特征向量在深度方向上通过最大池化层进行降维,得到K个1024维的local‑global特征向量。
2.根据权利要求1所述的多模态输入与空间划分的三维目标检测方法,其特征在于,步骤5中,对融合后的特征向量进行预测,完成后处理任务,通过损失函数训练整个网络,得到输出的预测结果;
对于每一个提取了特征的点云分组,需要判断该分组内含有待检测目标的可能性,通过置信度损失 来衡量:C
其中,GIoU表示边框损失函数,IoU表示BBox与真实值的交并比,A表示包围BBox和真实值的最小立方体区域体积,u表示BBox与真实值的并集体积; 是第i个预测值Ci通过Sigmoid函数得到的预测置信度;Oi表示第i个BBox与真实值重合度; 表示置信度损失,N为正负样本个数;
总损失函数 定义如下:
其中,Npos为正样本个数,λconf,λloc,λcls,λdir分别表示置信度损失,定位损失,分类损失,方向角损失的平衡系数, 分别表示置信度损失,定位损失,分类损失,方向角损失;最后,通过损失函数训练整个网络。