利索能及
我要发布
收藏
专利号: 2020115093076
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种激光雷达与视觉融合的集成化目标跟踪系统,其特征在于,包括:固态激光雷达、单目视觉传感器及融合跟踪器,其中:所述固态激光雷达用于获取并输出外部环境点云数据,所述单目视觉传感器用于获取并输出外部环境图像数据,所述融合跟踪器包括单目视觉目标检测模块、激光雷达目标检测模块、激光雷达‑视觉融合跟踪模块和通信模块;

所述融合跟踪器的单目视觉目标检测模块用于从图像中获取目标信息;所述激光雷达目标检测模块用于从点云中获取目标信息;所述激光雷达‑视觉融合跟踪模块首先通过将图像目标和点云目标统一到同一坐标系,然后根据目标运动状态模型和量测模型,对目标运动状态进行一步预测,建立跟踪门进行量测筛选,再对融合目标与量测目标进行数据关联,最后进行目标状态滤波完成对图像目标和点云目标的融合跟踪;所述通信模块用于输出融合目标信息;

其中,固态激光雷达、单目视觉传感器及融合跟踪器集成安装在同一个机械结构中,固态激光雷达、单目视觉传感器的相对位置固定不变。

2.根据权利要求1所述的一种激光雷达与视觉融合的集成化目标跟踪系统,其特征在于,所述融合跟踪器的融合跟踪流程包括:

2.1单目视觉目标检测模块接收来自单目视觉传感器的原始图像信息,利用图像目标检测算法得到图像目标类型、目标边框、目标方位角信息,利用单目视觉测距原理获取单目测距信息;

2.2激光雷达目标检测模块接收来自固态激光雷达的原始点云信息,检测得到点云目标位置信息及目标长宽高信息;

2.3激光雷达‑视觉融合跟踪模块接收来自单目视觉目标检测模块的从图像中获取的目标信息和来自激光雷达目标检测模块的从点云中获取的目标信息,通过将图像目标和点云目标统一到同一坐标系,建立目标状态模型和量测模型,对目标状态进行一步预测,建立跟踪门进行量测筛选,对融合目标与量测目标进行数据关联,进行目标状态滤波完成对图像目标和点云目标的融合,得到融合后的包括目标类型、位置信息及长宽高信息的融合目标;

2.4通信模块与外部设备进行通信,将融合目标结果发送给外部设备。

3.根据权利要求2所述的一种激光雷达与视觉融合的集成化目标跟踪系统,其特征在于,所述步骤2.3目标融合方法包括以下步骤:

3.1空间配准:设定智能移动平台坐标系,利用旋转平移变换公式将图像目标和点云目标变换到该坐标系上,将图像目标和点云目标统一到同一坐标系;

3.2系统建模:在智能移动平台坐标系上建立扩展目标运动状态模型以及图像目标和点云目标的量测模型:

其中 表示k时刻目标的x位置、x速度、y位置、y速度、宽、高、信任度, 表示k时刻图像目标的量测,N表示自然数集合,t表示图像目标类型,表示k时刻点云目标的量测,Fk为状态转移矩阵,Γk为噪声矩阵, 为k时刻图像目标量测矩阵, 为k时刻点云目标量测矩阵,ωk为k时刻过程噪声, 为k时刻图像目标量测噪声, 为k时刻点云目标量测噪声;

3.3目标运动状态预测:根据步骤3.2所述的目标运动状态方程及前一时刻目标的状态估计 与协方差矩阵Pk‑1|k‑1,分别计算目标状态的一步预测值 及一步预测误差的协方差矩阵Pk|k‑1;

3.4量测筛选:设置一个二重跟踪门,首先以坐标轴原点为扇形顶点,以目标边框为扇形两边上的点建立扇形跟踪门进行筛选,然后对扇形跟踪门内的目标量测根据目标类型以及目标宽度做二次筛选,得到候选量测集

3.5数据关联:采用联合概率数据关联JPDA算法对目标轨迹预测值 和候选量测进行关联,能同时关联图像目标量测和点云目标量测的目标为成功融合目标,其余则为未成功融合目标;未成功融合目标又分为图像检测到而激光雷达没有检测到、激光雷达检测到而图像没有检测到、以及两种传感器都没有检测到三种情况;根据关联结果对不同目标的信任度p进行修正,并根据信任度p分为融合目标、潜在目标以及可丢弃目标;

3.6目标状态滤波:根据计算的关联事件概率 更新目标状态及目标量测,利用卡尔曼滤波对关联后的目标状态进行滤波,得到k时刻目标运动状态的最优估计 与滤波误差的协方差矩阵

4.根据权利要求6所述的一种激光雷达与视觉融合的集成化目标跟踪系统,其特征在于,所述3.5数据关联方法包括以下步骤:

4.1假定单目视觉传感器和固态激光雷达的量测误差统计独立,单目视觉传感器和固态激光雷达的联合事件概率 为:其中 为每个传感器的事件概率,由位置、宽高、信任度三个特征对应的量测关联概率 加权计算得到:

其中q1,q2,q3为各个特征所占权重,由具体应用场景确定;

其中对于每个特征对应的量测关联概率,是在跟踪门内计算每个量测关联事件的概率得到:

k

其中,映射ai表示目标t与来自于传感器i的量测之间的互联映射,Z 为直到k时刻的累计候选量测集, 表示k时刻ai反应的量测与目标映射对应关系是正确的事件, 表示k

互不相容事件 的并, 表示Z下的后验概率。

4.2关联后的目标信任度修正;

4.3按照信任度对关联后的目标进行分类。

5.根据权利要求4所述的一种激光雷达与视觉融合的集成化目标跟踪系统,其特征在于,所述步骤4.2对每一个目标,信任度的修正值p'按照以下规则设置:对于成功关联融合的目标,其信任度修正值为p'=ω1,对未成功关联融合目标又分为图像检测到而激光雷达没有检测到、激光雷达检测到而图像没有检测到、以及两种传感器都没有检测到三种情况;

对于图像检测出目标而激光雷达没有检测出目标的情况,设定一个距离阈值Td,信任度修正值设置为 其中d为目标相对于坐标原点的距离;对于激光雷达检测出目标而图像没有检测出目标的情况,设定其信任度修正值p'=ω3;对于两种传感器都没有检测到的情况,设定其信任度修正值p'=ω4;其中ω1,ω2,ω3,ω4为信任度修正值的大小,ω1,ω2,ω3,ω4满足 利用目标数据关联结果对关联后的目标信任度进行修正:

k k‑1

p=ap'+bp ,a+b=1,p'=ω1时,a=1;      (5)k

其中p表示k时刻目标的信任度。

6.根据权利要求4所述的一种激光雷达与视觉融合的集成化目标跟踪系统,其特征在于,所述步骤4.3按照信任度大小,设定两个信任度阈值 和 将目标分为融合目标、潜在目标以及可丢弃目标:

融合目标表示该目标的信任度符合融合结果的期望值,可以通过通信模块对外发布;

潜在目标表示该目标的信任度略低于融合结果的期望值,但差距不大,不发布这类目标,但保留在系统中继续做后续关联;可丢弃目标表示该目标的信任度远低于融合结果的期望值,视该目标已消失,终止对该目标的跟踪。