1.一种基于激光雷达与机器视觉融合的目标检测方法,其特征在于,包括如下步骤:
A、在车的前保险杠位置处安装有固态式的激光雷达,在车的前挡风玻璃处安装有相机,以车辆的前进方向为Z轴,以指向驾驶员左侧方向为X轴,以指向车辆正上方方向为Y轴,以激光雷达的激光发射中心作为相机原点Ol建立激光雷达坐标系Ol‑XlYlZl,并以相机聚焦中心作为相机坐标系原点Oc建立相机坐标系Oc‑ZcYcZc,两个坐标系的O‑XZ面均与地面保持水平;
B、对所述激光雷达采集到的每帧点云信息进行处理,包括:先通过多平面拟合方法对点云信息进行地面点云分割,得到的分割结果再进行路沿点提取后,对所提取的路沿点依次进行曲线拟合、滤波、下采样的处理并得到每帧的感兴趣区域;对所述感兴趣区域内的点云进行聚类操作,得到每帧聚类后的各个目标,并用三维检测框标识聚类后的各个目标;其中,第p帧聚类后的第q个目标利用第q个三维检测框 来标识, 表示第p帧中第q个三维检测框中心点的x轴坐标, 表示第p帧中第q个三维检测框中心点的y轴坐标, 表示第p帧中第q个三维检测框中心点的z轴坐标, 表示第p帧中第q个三维检测框的宽度,表示第p帧中第q个三维检测框的长度, 表示第p帧中第q个三维检测框的高度;
选取三维检测框中与激光雷达距离最近的二维检测框 来表征所述第p帧中聚类后的第q个目标;从而得到带有检测框的点云数据集;
C、采用卷积注意力模块构建yolov5模型,并利用道路车辆图像数据集对所述yolov5模型进行训练,得到训练好的yolov5模型,利用所述训练好的yolov5模型对所述相机采集到的每帧图像信息进行处理,并输出每帧图像信息中各个目标的检测框及其坐标、尺寸、类别与置信度信息,从而得到带有检测框的图像信息集;
D、对所述点云数据集和图像信息集进行时空同步,包括:以激光雷达信号作为配准频率的基准,利用插值的方法对激光雷达与相机的时间戳进行对齐后,从而得到同一时刻激光雷达的点云信息集与相机的图像信息集;再对相机进行标定获得相机的内参,对相机与激光雷达进行联合标定,并获得外参,从而将激光雷达坐标系下的二维检测框投影到像素坐标系下,得到投影后的二维检测框 其中, 表示第q个投影后的二维检测框中心点的x轴坐标, 表示第q个投影后的二维检测框中心点的y轴坐标, 表示第q个投影后的二维检测框的宽度, 表示第q个投影后的二维检测框的高度;
E、对时空同步后的信息进行数据关联,获取关联对:
E1、设置关联门限为rth;定义变量i表示所述激光雷达与相机经过时间同步后的帧数,定义变量j表示观测第i帧激光雷达的点云数据包含的当前目标数,定义变量k表示观测第i帧相机的图像数据包含的当前目标数,并初始化i=1;
E2、初始化j=1;以第i帧激光雷达的点云数据集中第j个投影后的二维检测框的坐标及尺寸信息作为第i帧的第j个雷达目标观测信息 以所述第i帧的第j个雷达目标观测信息 所对应的三维检测框作为第i帧聚类后的第j个三维检测框E3、初始化k=1;以第i帧相机的图像信息集中第k个检测框的坐标、尺寸、类别与置信度信息作为第i帧的第k个相机目标观测信息 其中, 表示第k个检测框中心点的x轴坐标, 表示第k个检测框中心点的y轴坐标, 表示第k个检测框的宽度, 表示第k个检测框的高度, 第k个检测框的检测出的目标的类别, 表示第k个检测框的置信度信息;
E4、计算第i帧的第j个激光雷达目标观测信息 与第i帧的第k个相机目
标观测信息 之间的欧氏距离
E5、判断 是否成立,若成立,则表示激光雷达的检测目标与相机的检测目标匹配成功,第i帧的第j个雷达目标观测信息 与第i帧的第k个相机目标观测信息 之间是关联对,否则,表示匹配失败;
E6、将k+1赋值给k后,返回步骤E3顺序执行,直到第i帧的所有相机目标观测信息遍历完成后,将j+1赋值给j后,返回步骤E2,直到第i帧的所有目标遍历完成;
E7、计算第i帧的第j个雷达目标观测信息 与第i帧的第k个相机目标观
测信息 之间关联对的交并比 并与所设置的交并比阈值
IOUth进行比较,若 则表示第i帧中相应的关联对正确,并输出,否则,舍去第i帧中相应的关联对,并返回E7计算第i帧中下一个关联对,直到输出完第i帧中所有正确的关联对;
F、对第i帧中所有正确的关联对进行数据融合,得到第i帧融合后的目标检测信息,包括:若第i帧的第m个雷达目标观测信息 与第n个相机目标观测信息之间是关联对,则先直接将第i帧的第m个雷达目标观测信息所
对应的三维检测框中的x轴坐标 y轴坐标 z轴坐标 长度 宽度 以及第n个相机目标观测信息中的类别 置信度信息 直接作为相应关联对的融合后的部分目标检测信息,然后利用步骤D中标定好的相机内参与外参将第n个相机目标观测框转换到雷达坐标系下,从而获得第n个相机目标观测高度 在雷达坐标系下的投影 并作为相应关联对的融合后的目标检测高度补偿信息,由融合后的部分目标检测信息与目标检测高度补偿信息构成融合后的目标检测信息;
G、对第i帧融合的目标检测信息中各个目标进行跟踪后输出目标检测结果。
2.根据权利要求1所述的基于激光雷达与机器视觉融合的目标检测方法,其特征在于,所述E5中,若第i帧的第j个雷达目标观测信息 与第i帧的任意一个相机目标观测信息 之间的欧氏距离 均大于rth,则将第i帧的第j个雷达目标观测信息 输出并进行目标跟踪;
若在第i+1帧中检测到对应的雷达目标观测信息 且对应的雷
达目标观测信息 与第i+1帧的第k个相机目标观测信息
之间的欧氏距离 则认为第j个雷达目标观
测信息 成功检测到目标。