1.一种基于可见光、红外和激光雷达数据融合的目标跟踪方法,其特征在于,所述方法包括以下步骤:步骤1:通过残差网络和自编码器对获取的可见光图像和红外图像进行特征提取‑融合‑特征重构实现图像的融合;
所述步骤1包括以下步骤:
步骤1.1,对可将光图像和红外图像进行空间配准,通过相机的平移矩阵和旋转矩阵,以可见光图像的坐标作为参考坐标,将红外图像数据转换到可见光坐标上进行统一;如无法获取坐标系信息,通过数学形态学方法分别提取红外与可见光图像的边缘,得到粗边缘图像;然后通过SURF算法提取两幅边缘图像的特征点,根据正确的匹配点对之间斜率一致性的先验知识,进行特征点匹配;最后通过最小二乘法求得仿射变换模型参数并实现两幅图像的配准;
步骤1.2,训练自编码器:将可见光和红外图像分别输入自编码器进行训练;编码器有3个卷积层,在每一个卷积层都有一个输出进行融合,同时作为解码器的输入;自编码器单独训练,损失函数如下:Lauto=Lpixel+λLssim (1)Lssim=1‑SSIM(Output,Input) (3)其中:
Lpixel:像素损耗; 输出图像和输入图像的Frobenius范数,即对应元素的平方和再开方;Lssim:结构相似度损耗;SSIM:结构相似度度量;μ:平均值;σ:方差;
步骤1.3,融合网络使用残差网络,以编码器的输出作为输入,分别对输入的可见光特征和红外特征进行卷积、拼接,然后再进行三层卷积得到Conv5;同时,对输入可见光特征和红外特征进行拼接、卷积,将这层卷积与Conv5进行一个全连接层的拼接,最后输出融合特征,作为解码器的输入;
步骤1.4,红外与可见光整体融合模型:将融合网络放到编码器和解码器中间,对模型进行训练,以可见光图像和红外图像作为输入,以融合图像作为输出,模型损失函数如下:Lfusion=αLvi+(1‑α)Lir (5)Lvi=1‑SSIM(O,Ivi) (6)其中:
vi和ir分别表示可见光图像和红外图像,L是损失函数;O是输出的融合图像;M是深度特征数量;B(m)是平衡损失函数向量,初设为(1,10,100,1000);w是相对权重矩阵,Φ是特征矩阵;
步骤2:使用检测算法对融合后的图像进行目标检测,提取出图像上的二维目标信息,使用针对点云的检测算法对获取的激光雷达点云数据进行目标检测,获取三维目标信息;
步骤3:对融合图像和点云数据进行融合跟踪,首先对目标进行状态预测,对不同时间的三维目标进行数据关联与状态滤波;
所述步骤3包括以下步骤:
步骤3.1,对目标进行状态预测,将物体轨迹的状态表示为11维向量T=(x,y,z,θ,l,w,h,s,vx,vy,vz),其中vx,vy,vz表示物体在三维空间中的速度;预测的轨迹基于等速模型xt=xt‑1+vx,yt=yt‑1+vy,zt=zt‑1+vz,因此,步骤3.2,将检测到的三维目标与预测目标进行数据关联,匹配规则如下:其中: 表示三维目标的位置及尺寸信息; 是第i帧各
目标和第j帧各目标间的欧几里得距离; 表示绕相机y轴旋转角度; 是 和方向向量之间的余弦距离;
步骤3.3,根据关联规则,构建三维检测目标Dt与预测轨迹 的亲和矩阵,得到Tmatch、 Tunmatch、 分别为匹配到的轨迹目标和检测目标、未匹配到的轨迹目标和检测目标;
步骤3.4,对于匹配的三维检测目标 根据贝叶斯法则,将其视作新的轨迹点,对轨迹T的状态进行更新;
步骤4:通过二维目标进行二次数据关联,对三维目标遗漏的部分进行补充,再通过状态更新及轨迹的生命周期管理完成对二维目标和三维目标的融合跟踪。
2.根据权利要求1所述的一种基于可见光、红外和激光雷达数据融合的目标跟踪方法,其特征在于,所述步骤2包括以下步骤:步骤2.1,利用图像目标检测算法和点云目标检测算法分别得到来自图像的目标类型、目标边框、目标方位角信息和来自点云的目标类型、目标三维边框、目标方位角信息;
步骤2.2,将可见光相机的坐标系设为世界坐标系,通过传感器的平移矩阵和旋转矩阵将三维目标投影到该坐标系上,然后根据三维目标检测框以及运动状态信息,初步建立轨迹模型。
3.根据权利要求1所述的一种基于可见光、红外和激光雷达数据融合的目标跟踪方法,其特征在于,所述步骤4包括以下步骤:步骤4.1,将二维目标与未匹配到的轨迹目标Tunmatch在其坐标系上的二维投影进行匹配,关联度量使用IoU计算关联度,得到匹配的二维目标步骤4.2,对于匹配的二维目标 将其与未匹配到的三维目标 在其坐标系上的二维投影做一个IoU关联度分析,达到设定阈值则将其视作该目标纳入轨迹,未达到阈值,如果关联度最高的目标的三维目标在三帧内再次被匹配,则也将其视作该目标纳入轨迹;
步骤4.3,对于剩下的未匹配也没有被二维目标补充的三维目标 如果连续三帧内都未再次匹配,则将其视为新目标,即新轨迹的开始;
步骤4.4,对于未匹配的轨迹目标Tunmatch_2,如果连续三帧内都未再次匹配,则将其视为轨迹的结束。