1.一种基于雷达与图像数据融合的目标检测方法,其特征在于,包括步骤:
(1)、基于编码器网络进行对象检测:
采用CenterNet检测网络在图像上生成初步检测,使用全卷积编码器解码器主干网络提取图像特征,并使用DLA网络作为骨干网,通过提取的图像特征对图像上的对象中心点,以及对象2D尺寸、中心偏移、3D尺寸进行预测,为场景中的每个检测到的对象提供一个二维边界框以及一个初步的3D边界框;其中,是通过雷达发射无线电波以感应环境并测量反射波以确定目标位置,将检测到的目标报告为BEV中的2D点,提供到目标的方位角和径向距离;具体如下:(101)、毫米波雷达射频端生成的信号,一方面作为发射信号通过发射天线向巡检区域不同方向扩散,另一方面作为本振信号,与接收天线接收到的目标物体及环境物体反射回来的回波信号在混频器里进行混频处理,从而得到中频信号;中频信号中有目标和雷达径向距离的时延,可以得到目标相对雷达的距离;
(102)、通过方位、俯仰接收波束数字合成,实现方位、俯仰接收波束的多波束数字合成;对多个波束信号的调频去斜处理,对调频三角波信号上升段和下降段分别去斜处理,实现目标距离的解耦合处理;
(103)、采用快速傅里叶变换算法对每个接收波束的去斜回波信号进行频谱分析,得到频谱结果后利用调频连续波的频谱距离变换关系计算出目标的位置距离;
(2)、基于视锥体方法进行数据关联:
将雷达检测结果与其在像面上的对应对象相关联,通过视锥体关联方法使用目标的二维边界框及其估计的深度和大小为目标创建一个3D RoI视锥体,缩小需要检查关联的雷达探测范围,使用估计目标深度、尺寸和旋转角度在目标周围创建RoI,进一步过滤掉与目标无关的雷达探测;
其中通过创建3D RoI截锥体的方法,忽略目标的二维边界框中任何超出这个截锥的点以缩小所需检查关联的雷达探测范围,其中使用引入参数 δ 控制RoI截锥体的大小,在创建目标周围RoI时,如果在该RoI内有多个雷达探测,则取最近的点作为该目标对应的雷达探测点;
(3)基于雷达检测进行图像特征补充:
将关联后的目标的特征和雷达数据检测到的深度信息组成的特征图并联,进行3D目标深度、旋转和属性的回归;对于与目标相关的每次雷达检测,均生成三个以目标二维边界框为中心和内部为中心的热图通道;其中,是将生成的热图作为额外通道连接到图像特征,并利用特征作为二次回归头的输入,以重新计算目标位置;属性回归头针对不同目标类别估计不同属性,二次回归头由具有3×3内核的三个卷积层和随后的1×1卷积层组成,以生成所需的输出。