利索能及
我要发布
收藏
专利号: 2023107116830
申请人: 苏州科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种近景远景多维度融合的三维目标检测方法,其特征在于,包括:步骤一:使用Centernet对图像的中心点进行检测并对基础属性进行回归,通过全卷积的编码‑解码骨干网进行特征值的提取;

步骤二:使用估计的深度对目标进行三维感兴趣区域划分,再将检测任务分为近景检测和远景检测;

所述步骤二中,对于近景检测任务,使用视锥体内的RGB‑D数据构建关于目标的特征,并利用2D检测带来的语义信息作为先验信息,对于远景检测任务,使用视觉结合毫米波雷达的方法,在视觉检测的基础上充分利用毫米波雷达的非视觉特征为图像创建互补特征;

所述近景检测任务具体包括:

步骤S1:首先对坐标轴进行沿y轴的旋转,使得旋转后的z轴穿过中心点热图中的峰值在y轴上的投影,然后通过构建旋转矩阵Ry(θΔy)将全局坐标转化为局部坐标;

步骤S2:在视锥体中对点云数据进行分割;首先将转换为局部坐标的点云数据输入到共享的多个感知机中进行升维处理,将点云数据中的每个点都升为1024维的特征向量,通过大池化层在保持点云无序性的前提下得到关于点云数据的全局特征,然后将全局特征和每一个点相连接并加入K维的one‑hot vecter来保证分割网络充分利用2D检测带来的先验信息,通过相同的共享感知机来生成n×1的向量来对点云数据进行分割,最后利用局部坐标y轴上与分割后的点云质心最近的点初步的回归目标的中心;

在所述步骤S2中,为了准确的对目标中心进行回归,利用Centernet回归到的二维目标中心与深度值之间的关系对空间变换网络进行降维处理,具体公式下:其中,d为由于空间变换网络回归的为初步目标中心深度和实际目标中心深度值之间的差值;

在训练时构建基于残差的损失函数:

Lbox=Cbox‑Cmask‑ΔCT‑Net    (4)其中,Cbox表示预测框信息,Cmask表示掩膜预测信息,CT‑Net表示T‑net网络预测信息;

在得到目标的中心点后,将视锥体内分割后的点云投影到X‑Z轴来构成BEV鸟瞰视角的点云图,并在BEV图中,对投影后的点云数据进行栅格化处理;

为了结合来自不同特征的信息,采用Element‑Wise相乘的融合方法将Point‑Wise特征与BEV特征进行融合,其融合方式的公式如下:其中,f为特征,H表示感知机函数;

为了防止感知机 的退化,在两个感知线路融合的同时,加入

对两个感知机的单独辅助损耗训练,融合训练与辅助损失训练之间共享权重;

在训练时,对多任务进行联合优化,使用的联合损失函数公式如下:其中,i,j,k表示变量,P表示指对应点;

所述远景检测任务具体为:

将生成的特征图与目标的图像特征并联,利用特征图和目标中心点之间的对应关系来确定目标的中心点,再构建视锥体来划分ROI,并将特征图输入辅助检测头来帮助主检测任务进行目标深度和旋转信息的回归;

所述远景检测任务中,还包括:

步骤A1,回归主体的绝对速度:通过划分ROI将雷达点云分为目标关键点和背景点,背景点和主体速度的关系如下式:n

其中,Vd 为数据点n所携带的径向速度,θn为数据点n所携带的偏转角,Vn为回归得到的目标主体速度大小,u为回归值和真值间的最小二乘误差值;

步骤A2,回归目标的绝对速度:对于体积较大的车辆目标,使用不同关键点之间径向速度的角度差来回归目标的绝对速度,其公式如下:p

其中,Vd为目标关键点p所携带的速度信息,θpd为目标关键点p所携带的角度信息,θptp为回归得到车辆目标的速度方向,VT 为回归得到车辆目标的大小;对于目标尺度较小的人物目标使用Person‑Reid算法对人物目标进行反向追踪,通过毫米波雷达提供的径向速度来划分ROI,其公式如下:其中xt、yt为当前帧的目标位置,xt‑1、yt‑1为上一帧待追踪目标的位置,Cn为目标n的预测信息;Vt为毫米波雷达提供的径向速度;

所述远景检测任务中,利用残差构建损失函数,其公式如下:

其中,n为目标数目,θT准确偏向角,θi预测偏向角,Δθ准确与预测偏向角的差值;

利用得到的目标偏向角作为先验信息对目标的尺寸进行修正,并利用语义信息来构建先验尺寸,构建的损失函数其公式如下:*

其中,D表示真实尺寸, 表示预测尺寸,δ为一个残差值。

2.根据权利要求1所述的三维目标检测方法,其特征在于,所述步骤一具体为:以I作为输入图像,使用Centernet生成关于中心点的热图 对于检测到的每个中心点,Centernet预测局部的偏移量,用来补偿全卷积的编码‑解码骨干网中由于降采样而导致的离散化误差,Centernet对目标的2D尺寸、三维尺寸、目标深度和旋转角进行回归。

3.根据权利要求2所述的三维目标检测方法,其特征在于,在所述热图 中,Yx,y,c=1代表点(x,y)为类型C下的关键点,Yx,y,c=0代表点(x,y)为类型C下的背景点,在训练关键点检测网络时,对于真值p进行降采样得 通过构建高斯核函数将真值 投影在热图上,并通过σ对目标2D检测框的大小进行自适应,其中,高斯核函数的公式如下:训练的目标函数公式如下:

所述2D尺寸、三维尺寸、目标深度和旋转角由主检测头进行回归,每个主检测头由一个

3×3的卷积层和一个1×1的卷积层构成,其中3×3的卷积层作为输入,1×1的卷积层作为输出。

4.一种近景远景多维度融合的三维目标检测系统,其特征在于,包括:存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序配置为由所述处理器调用时实现权利要求1-3中任一项所述的三维目标检测方法的步骤。

5.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有计算机程序,所述计算机程序配置为由处理器调用时实现权利要求1-3中任一项所述的三维目标检测方法的步骤。