1.一种基于多视角的多模态信息融合目标检测方法,其特征在于,包括以下步骤:
步骤1、接收摄像头、激光雷达与毫米波雷达的原始数据;
步骤2、将摄像头、激光雷达与毫米波雷达采集的原始数据进行处理,利用逆透视映射法将摄像头前视图转化为鸟瞰图;利用投影法将激光雷达点云与毫米波点云转化为前视图与鸟瞰图;
步骤3、通过特征提取模块对摄像头的前视图与鸟瞰图、激光雷达的前视图与鸟瞰图、毫米波雷达的鸟瞰图进行特征提取,得到摄像头前视图特征 与鸟瞰图特征 、激光雷达前视图特征 与鸟瞰图特征 、毫米波雷达鸟瞰图特征 ;
步骤4、对不同传感器的前视图与鸟瞰图特征进行融合处理,获得语义信息与空间位置信息;
步骤5、对步骤4融合后得到的前视图融合特征 、鸟瞰图融合特征 和包含语义与空间信息的特征 ,进行各自多尺度特征进行融合得到 、 、 ,再将这3个融合多尺度的特征输送进检测头进行数据推理;在数据推理阶段,检测头将依次对融合多尺度特征的 、 、 进行预测交通参与者位置置信度和类别信息;
步骤4具体包括以下步骤:
步骤401、利用前视图融合模块融合摄像头前视图特征 与激光雷达的前视图特征,获得包含稠密语义信息的前视融合特征 ;
步骤402、利用鸟瞰图融合模块融合摄像头鸟瞰图特征 、激光雷达鸟瞰图特征与毫米波雷达鸟瞰图特征 ,获得包含空间位置信息的鸟瞰图融合特征 ;
步骤403、利用注意力融合模块融合前视融合特征 与鸟瞰图融合特征 ,自适应分配语义信息与空间信息的权重系数,获得包含语义与空间信息的特征 ;
步骤404、对每个单峰分支的特征进行上采样,并利用前视图融合模块、鸟瞰图融合模块与注意力融合模块对上采样的单峰特征 、 、 、 、 进行融合,生成尺度为(128,256,512,1024)的多尺度融合特征。
2.根据权利要求1所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:步骤401中,获得摄像头与激光雷达前视图特征包括以下步骤:首先,将摄像头与激光雷达的前视图特征进行拼接,得到融合特征 ;其次,对拼接特征进行归一化与卷积处理,得到特征 ;将处理后的特征 与摄像头前视图特征进行相加操作,得到前视图融合特征 。
3.根据权利要求2所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:步骤402中,获得摄像头、激光雷达与毫米波雷达鸟瞰图融合特征包括以下步骤:首先,将摄像头、激光雷达与毫米波雷达的鸟瞰图特征进行拼接,得到融合特征 ;其次,对拼接特征进行归一化与卷积处理,得到特征 ;最后,将处理后的特征 与激光雷达的鸟瞰图特征进行相加操作,得到融合的鸟瞰图特征 。
4.根据权利要求3所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:步骤403中,获得 与 融合后的特征包括以下步骤:首先,将融合后的 与 各自传输进卷积层和激活函数层,得到特征 与 ;其次,将 与 特征进行拼接,得到特征 ,并将特征 通过Softmax层进行归一化操作,得到特征 ;再次,将特征 与 、 相乘,得到特征 与 ;最终,将特征 与 进行拼接,得到 。
5.根据权利要求1所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:步骤2中,摄像头前视图转鸟瞰图包括以下步骤:利用摄像头批量采集前视图;确定相机的内外参数,包括焦距、主点位置及相机位置与姿态,通过一系列参数推到逆透视变化矩阵M;选择对应前视图的地面作为参考平面;通过逆透视变化矩阵M将摄像头采集的前视图转化成鸟瞰图。
6.根据权利要求1所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:步骤2中,激光雷达点云数据转化为前视图与鸟瞰图包括以下步骤:利用激光雷达→相机→图像坐标系变换矩阵将激光雷达点云映射到图像上,并根据深度信息赋予图像点云颜色,生成激光点云的前视图;将投影在前视图中点(x, y, z)的z坐标置0投影在鸟瞰图上,生成激光点云鸟瞰图。
7.根据权利要求1所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:步骤2中,毫米波雷达点云数据转化为鸟瞰图包括以下步骤:通过毫米波雷达→相机→图像坐标系变换矩阵筛选出映射到图像上的点云,将这些点根据坐标值(x, y)映射到鸟瞰图上,生成毫米波点云鸟瞰图。
8.根据权利要求1所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:步骤3中,对摄像头、激光雷达与毫米波雷达的前视图与鸟瞰图特征进行特征提取包括以下步骤:将各个传感器的前视图与鸟瞰图特征传输进ConvNext模块,对特征进行卷积、归一化操作,最后对处理特征进行3次上采样操作,分别得到4个不同尺度的特征图。
9.根据权利要求1所述的一种基于多视角的多模态信息融合目标检测方法,其特征在于:在模型训练阶段,将多尺度融合特征传入检测头以生成预测值,通过损失函数计算预测值与真实值之间的偏差,并进行反向传播更新网络权重,从而逐步提升模型的检测性能。