利索能及
我要发布
收藏
专利号: 2021110188765
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉和毫米波雷达的融合目标检测和跟踪方法,其特征在于:包括以下步骤:步骤1、分别获取图像目标的短时速度变化曲线以及毫米波雷达目标的短时速度变化曲线;

所述图像目标的短时速度变化曲线获取过程为:

(1)采用3D目标跟踪网络完成图像目标的检测和跟踪,得到包含目标行为的图像序列;

并针对每个图像标注出每个目标的深度值以及每个目标对应的ID;

(2)依据t时刻,目标的速度为同一目标相邻两帧的深度差与时间间隔的比值,计算出每个时刻中各个目标的速度值,得到图像中多目标的短时速度变化曲线;

所述毫米波雷达目标的短时速度变化曲线的获取过程为:

(1)获取与图像时间戳相同的毫米波雷达点云数据,并滤除点云数据中的静止目标;

(2)采用最近邻聚类算法对点云数据中的数据点进行聚类,得到多个聚类中心;将每个聚类中心视为一个目标,分别计算出每个时刻各聚类中心的位置坐标和速度值;

(3)针对每个聚类中心,分别构建一个卡尔曼滤波器预测下一时刻t+1的位置和速度;

再基于位置和速度,采用近邻匹配的方式将预测结果与对应时刻的聚类中心进行匹配,并利用在t+1时刻匹配上的聚类中心对卡尔曼滤波器的参数进行更新,然后以更新后的参数作为下一次预测的初始值;对于未匹配上的聚类中心则直接将当前预测结果作为下一次预测初始值进行下一次预测,若连续两帧都未匹配到对应目标则视为中心已行驶出可观测范围;

重复步骤这一过程以实现连续帧中同一目标关联,得到毫米波雷达目标的短时速度变化曲线;

步骤2、对图像目标和毫米波目标进行相似度衡量,以实现图像和毫米波雷达的目标极融合(1)根据图像序列与点云数据的时间戳信息,将两者进行时间序列配准,保证两个传感器融合数据的时间一致;

(2)基于不同传感器坐标系下同一目标速度相同的假设,定义出毫米波雷达目标与图像目标的速度差异度Vd:其中,vradar,i表示i时刻的毫米波雷达目标速度值,vcamerai,表示i时刻图像目标的速度值,Frame_num表示用于计算速度差异度的帧数;

(3)利用定义的速度差异度公式计算同一时刻下,每个毫米波雷达目标与各图像目标的差异度,然后取最小值所对应目标作为匹配结果,以完成两个传感器坐标下的目标相似度衡量,实现图像与毫米波雷达的目标级融合。

2.根据权利要求1所述的一种基于视觉和毫米波雷达的融合目标检测和跟踪方法,其特征在于:所述步骤毫米波雷达短时速度曲线获取过程中采用的最近邻聚类算法对点云数据中的数据点进行聚类得到多个聚类中心的过程为:(1)设定两点之间的速度差阈值Tv,距离阈值Td以及速度差容许值ΔvT;

(2)对毫米波雷达每一帧的数据点进行聚类,得到多个聚类中心

先选取第一个数据点作为第一聚类中心;再选取第二个数据点,计算第二个数据点与第一聚类中心的速度差和欧氏距离,得到第二个数据点与第一聚类中心的速度差和欧氏距离;

将计算出的速度差和欧氏距离与设定阈值比较,当计算出的速度差和欧式距离均大于设定阈值时,则判定第二个数据点为第二聚类中心;

从当前剩余数据点中,选取第三个数据点,分别计算第三个数据点与前两个聚类中心的速度差和欧氏距离;当计算出所有速度差和欧式距离都大于设定阈值时,则判定第三个数据点为第三聚类中心;以此类推,直至所有数据点都判定完毕,得到多个聚类中心;

(3)对非聚类中心的数据点进行归类

从非聚类中心的数据点中,选取任一数据点,计算该数据点与每个聚类中心的速度差和距离;取与当前数据点距离最近的聚类中心,若其速度差小于速度差容许值ΔvT,则该毫米波雷达数据点属于该聚类中心对应的簇;若速度差大于速度差容许值ΔvT,则放弃该聚类中心,取距离第二近的聚类中心;

然后循环直至所有数据点完成聚类,得到多个聚类簇后,计算簇内所有数据点的速度和位置的平均值作为聚类簇的聚类中心。

3.根据权利要求1所述的一种基于视觉和毫米波雷达的融合目标检测和跟踪方法,其特征在于:所述图像目标的检测和跟踪所采用的3D目标跟踪网络为CenterTrack。