利索能及
我要发布
收藏
专利号: 2022103996038
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法,其特征在于,包括以下步骤:数据采集与处理步骤:采集毫米波雷达点云与视觉图像数据;对毫米波雷达点云与视觉图像数据进行时间近似同步处理;

融合步骤:将毫米波雷达点云数据从雷达坐标系转换到相机坐标系实现空间同步后进行预处理操作,提取点云框内目标点云的速度和深度信息构建雷达矩阵数据完成雷达信息提取;再在融合框架中通过神经网络提取图像特征图和雷达特征图并结合注意力机制进行特征融合得到融合特征图;

检测步骤:将融合特征图进行上采样输入至分支卷积网络,对分支卷积的输出信息进行解码后得到目标的类别和三维信息。

2.如权利要求1所述方法,其特征在于,数据采集与处理步骤的具体方法为:使用与毫米波雷达和摄像头相连的安装有机器人操作系统ROS的设备采集毫米波雷达点云数据和视觉图像数据并保存为bag格式;

通过以下步骤对毫米波雷达点云数据与视觉图像进行时间近似同步处理:

首先在ROS中回放保存为bag文件格式的毫米波雷达点云数据和视觉图像数据;创建ROS节点,该ROS节点用于订阅毫米波雷达点云数据和视觉图像数据,订阅数据后使用ROS提供的自适应算法来实现不同数据时间戳信息的近似匹配,随后使用发布器将同步后的多模态数据作为信息对外发布;订阅同步后的点云信息和图像信息并保存为bag格式的文件,提取毫米波雷达点云数据保存为pcd格式文件,提取视觉图像数据保存为jpg格式文件。

3.如权利要求1所述方法,其特征在于,融合步骤中对毫米波雷达点云数据进行预处理操作具体为:将转换到相机坐标系的毫米波雷达点云数据解析为(5,N)的矩阵,其中N为多帧积累后的点云数量,每一个点云包括5个维度的特征(x,y,z,vx,vy),其中(x,y,z)表示点云的空间位置,(vx,vy)表示目标相对雷达的径向运动速度在相机坐标系X与Y方向的速度分量;

采用直通滤波筛选出径向运动速度以及相机坐标系下Z轴的距离满足条件的点云;

采用直通滤波后的点云采用欧式聚类分割得到点云集群;

利用点云库中的类提取欧式分割聚类后每个点云集群的三维的坐标轴平行包围盒;

将坐标轴平行包围盒投影到图像平面进行目标关联,坐标轴平行包围盒投影得到二维点云包围框,具体投影计算公式如下:其中Zc为尺度因子,(u,v)为点云在图像平面的像素坐标系下的像素坐标,f为像距,dx和dy分别表示在像素坐标系的X,Y方向上的一个像素在相机感光板上的物理长度,u0和v0分别表示相机感光板中心在像素坐标系下的坐标;

将点云在相机坐标中Z轴的值记为距离d,投影后按照距离d从小到大对点云进行排序,然后将点云扩展为三维点云柱,将点云柱投影到图像平面的像素坐标系得到矩形的点云区域,获取点云区域在图像平面的位置以及宽和高。

4.如权利要求3所述方法,其特征在于,融合步骤中提取点云框内目标点云的x和y分量速度、深度构建雷达矩阵数据完成雷达特征图提取的具体方法为:提取二维点云包围框内的点云构建与图像尺寸相同的3通道雷达矩阵数据,在与二维点云包围框尺寸成比例的矩形内填充雷达点云信息作为雷达特征图,其余位置填充0,填充区域的数值 计算公式如下:其中,i表示第i个点云,nc为3个通道的取值,分别为相机坐标系下的目标距离d以及目标径向速度X与Y分量;相机坐标系下的目标距离d采用点云的z值,目标径向速度的X与Y分量为点云的vx值和vy值;Sc为标准化因子;

是缩放系数, 和 是第i个点云柱投影所得的矩形点云区域在像素坐标系下的中心i i坐标,w和h为矩形点云区域的宽和高,W和H为图像的宽和高。

5.如权利要求3所述方法,其特征在于,融合步骤中直通滤波的具体方法是:首先指定一个维度以及该维度下的值域范围,然后遍历点云中的每一个维度上的元素值,判断该元素值在指定维度上的取值是否在值域内,若取值不在值域内则删除该点云,遍历结束后留下的点云即完成滤波操作,有效雷达点云筛选公式为:其中v为目标的径向运动速度在相机坐标系下X与Y方向的速度分量,z为目标在相机坐标系下Z轴的距离。

6.如权利要求3所述方法,其特征在于,欧式聚类分割的具体方法为:

依据点云与点云之间的距离将小于距离阈值的作为一个集群,使用Kd‑Tree近邻搜索算法进行聚类:

1)为输入的点云数据集P创建Kd‑tree的表示;

2)设置一个空聚类列表C以及一个点云队列Q;

3)在P中选取一个未被聚类处理的点云p_i进行如下聚类处理步骤:

a)将p_i添加到当前队列Q;

b)对每个Q中的p_i进行如下步骤:

b1通过Kd‑Tree近邻搜索算法在点云数据集P中找到k个离p_i最近的点组成点云集p_i_k;

b2设置距离阈值r,遍历p_i_k,将p_i_k中与p_i的欧式距离不超过r且未被聚类处理的点云加入到Q中;

b3 p_i_k遍历完毕后,则把Q添加到聚类列表C的一个新的聚类上,并将Q清空;

4)当数据集P中的所有点是否均完成聚类,如否则返回步骤3),如是则完成欧式聚类分割,得到最终的聚类列表C,聚类列表C中的每一个聚类对应一个点云集群。

7.如权利要求3所述方法,其特征在于,融合步骤中使用的融合框架包含图像特征提取模块、雷达特征提取模块和注意力融合模块;

图像特征提取模块采用DLA‑34网络作为主干网提取图像特征,雷达特征提取模块采用ResNet‑50作为主干网提取雷达特征,雷达特征提取模块输出至注意力融合模块,注意力融合模块包含两个独立的卷积层,第一个卷积层的卷积核大小为1×1,步长为(1,1),填充为(0,0),第二个卷积层的卷积核大小为3×3,步长为(1,1),填充为(1,1),再将卷积层输出的权重矩阵相加,然后将相加得到的权重矩阵与图像特征提取模块输出的图像特征图叉乘得到融合后的特征图。