1.一种多目标跟踪方法,其特征在于,包括以下步骤:
S1:获取待检测视频,并对所述待检测视频进行目标检测,获得所述待检测视频中各跟踪目标图像的目标检测框,对目标检测框进行筛选,所述跟踪目标图像包括多个所述目标检测框;
S2:针对每个待处理的跟踪目标图像,将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取;
S3:基于跟踪目标特征信息判断跟踪目标是否处于被遮挡状态,若跟踪目标正常,则保持当前状态继续跟踪,若跟踪目标被遮挡,则执行下一步,转入步骤S4;
S4:跟踪目标被遮挡时,若视频前一帧目标检测框的消失帧数小于或等于设定的帧数阈值,则认为跟踪目标出现短期遮挡,则对跟踪目标使用最小二乘法进行运动轨迹的预测;
若视频前一帧目标检测框的消失帧数大于设定的帧数阈值,则认为跟踪目标出现长期遮挡,则对跟踪目标使用卡尔曼滤波器进行运动轨迹的预测;将最小二乘法、卡尔曼滤波器进行运动轨迹的预测结果作为预测跟踪框,目标遮挡结束后使用关联策略进行目标身份关联,实现跟踪目标的继续跟踪;
所述目标遮挡结束后使用关联策略进行目标身份关联,具体为:跟踪目标遮挡结束后,对于检测到遮挡后的跟踪目标,将视频前一帧中的目标检测框作为未匹配目标检测框,若未匹配目标检测框为不确定态,或者,未匹配目标检测框为确定态且超过最大寿命,则将未匹配目标检测框作为高价值目标检测框;
若视频前一帧中的目标检测框超过最大寿命,则将高价值目标检测框与预测跟踪框进行关联,作为关联目标检测框A,计算关联目标检测框A的余弦距离,得到第一余弦距离值集合;将未匹配目标检测框为确定态的目标检测框与预测跟踪框进行关联,作为关联目标检测框B,计算关联目标检测框B的余弦距离,得到第二余弦距离值集合;
所述第一余弦距离值集合、第二余弦距离值集合中最小的余弦距离值对应的关联目标检测框作为遮挡前最合适的关联目标检测框,并进行跟踪目标身份赋予,若所述遮挡前最合适的关联目标检测框属于高价值目标检测框,将高价值目标检测框集合中最合适的关联目标检测框移除,仅执行一次;
若最小的余弦距离值大于设定的余弦距离阈值,则跟踪目标关联失败;若最小的余弦距离值小于设定的余弦距离阈值,则跟踪目标关联成功,对跟踪目标继续跟踪。
2.根据权利要求1所述一种多目标跟踪方法,其特征在于,步骤S1中所述目标检测使用DPM检测器对跟踪目标图像进行检测。
3.根据权利要求1所述一种多目标跟踪方法,其特征在于,步骤S1中对目标检测框进行筛选具体为,对跟踪目标使用NMS非极大值抑制,阈值设置为0.5进行目标检测框筛选。
4.根据权利要求3所述一种多目标跟踪方法,其特征在于,所述对跟踪目标使用NMS非极大值抑制具体为,在跟踪目标图像上产生多个目标检测框,并将目标检测框输入至分类器对窗口中的跟踪目标进行判断,再由分类器对每个目标检测框给出得分,得分表示目标检测框中为被检测跟踪目标的可能性;
对目标检测框中的重合框使用NMS非极大值抑制进行删减,处理过程为迭代‑遍历‑消除的过程,即按照每个目标检测框的得分进行排序,并计算分数最高的目标检测框同其他目标检测框的重叠度IoU,若重叠度IoU大于设定阈值,则删除得分较小的目标检测框,依次处理其余的目标检测框;其中重叠度IoU的计算为目标检测框重叠部分的面积除以两个跟踪目标框相并的面积,如下式所示:其中,A、B分别表示第一目标检测框的面积和第二目标检测框的面积。
5.根据权利要求4所述一种多目标跟踪方法,其特征在于,步骤S2中所述特征提取网络包括依次连接的双通道注意力机制网络、RestNet50残差网络、Reid模型。
6.根据权利要求5所述一种多目标跟踪方法,其特征在于,所述双通道注意力机制网络包括自注意力机制和循环注意力机制,分别用于提取跟踪目标的全局特征信息与特征循环矩阵的所有正负样本全局特征信息。
7.根据权利要求6所述一种多目标跟踪方法,其特征在于,步骤S2具体为:S2.1:特征提取网络将跟踪目标尺寸进行尺寸归一化处理;
S2.2:针对每个待处理的跟踪目标图像,将图像对和所述图像对中每个跟踪目标图像的所述目标检测框输入至特征提取网络进行特征信息提取,获得所述特征提取网络输出的每个所述目标检测框的层级卷积图像特征;所述层级卷积图像特征包括多层卷积图像特征,所述图像对包括所述待处理的跟踪目标图像的当前帧和所述待处理的跟踪目标图像的前一帧;
S2.3:根据所述层级卷积图像特征,得到特征循环矩阵;
S2.4:分别将每个所述层级卷积图像特征的每层卷积图像特征的各个通道特征相加输入至双通道注意力机制网络,分别提取跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息,每层所述卷积图像特征包括多个所述通道特征;
S2.5:利用RestNet50残差网络融合跟踪目标的第一全局特征信息与特征循环矩阵的全局特征信息,并在通道维度上相加得到第二全局特征信息,第二全局特征信息与第一全局特征信息相加后使用1*1的卷积来进行通道降维,通道降维后使用Reid模型返回特征提取网络提取的特征信息。
8.根据权利要求1所述一种多目标跟踪方法,其特征在于,步骤S4所述跟踪目标被遮挡时,若视频前一帧目标检测框的消失帧数小于或等于设定的帧数阈值,则认为跟踪目标出现短期遮挡,则对跟踪目标使用最小二乘法进行运动轨迹的预测;具体为:若视频前一帧目标检测框的消失帧数小于或等于设定的帧数阈值,则认为跟踪目标出现短期遮挡:将跟踪目标的运动轨迹在短期间隔内视为线性运动,最小二乘法通过最小化误差的平方寻找跟踪目标轨迹数据的最佳函数匹配,即,对跟踪目标构造最小二乘法误差函数,如下式所示:
(1)
式中:S为拟合误差;n为运动轨迹信息个数; 为运动轨迹坐标信息,i表示待检测视频使用最小二乘法预测目标的运动轨迹所在的时刻,即待检测视频中的帧;a,b分别为轨迹的斜率与截距;
通过公式(2)与公式(3)对拟合误差的平方 求偏导并使偏导值为0,得到极值点,通过极值点计算拟合误差的平方 的最小值;
(2)
(3)
跟踪目标的轨迹信息 已知,拟合误差的平方 的极值点求解则转化为对轨迹的斜率a与轨迹的截距b的求解;
由导数加法公式对公式(3)拆解求得公式(4);
(4)
由导数乘法公式对公式(4)求解可得公式(5);
(5)
将轨迹的斜率a视作常数,求轨迹的截距b的偏导数可得公式(6),将公式(5)(6)应用于公式(3)可得公式(7);
(6)
(7)
由公式(7)和公式(8)化简即求得公式(9)中轨迹的截距b值,同理求得轨迹的斜率 值如公式(10)所示;
(8)
(9)
(10)。
9.根据权利要求8所述一种多目标跟踪方法,其特征在于,步骤S4所述若视频前一帧目标检测框的消失帧数大于设定的帧数阈值,则认为跟踪目标出现长期遮挡,则对跟踪目标使用卡尔曼滤波器进行运动轨迹的预测,具体为:假设目标跟踪时的动态系统存在多个随机变量,且随机变量符合高斯分布,每个随机变量存在均值μ和方差 ,则通过协方差矩阵衡量随机变量之间的相关性;
定义k时刻跟踪目标位置的估计值 k,如公式(11)所示;k时刻跟踪目标位置的估计值k由k时刻跟踪目标位置的测量值zk和k‑1时刻跟踪目标位置的估计值 k‑1进行转换,如公式(12)所示,(11)
(12)
式中:k为时间单位; 定义为卡尔曼增益,存在多个随机变量时,卡尔曼增益的求解使用数据融合来完成; k、 k‑1分别为k时刻、k‑1时刻跟踪目标位置的估计值;zk为k时刻跟踪目标位置的测量值;
k时刻的各随机变量是相关的,通过假设的随机变量及对应的方差与协方差构成协方差矩阵P,协方差矩阵P中的值则表示随机变量之间的关联程度;
(13)
式中: 为假设的随机变量; 为随机变量的方差; 均为随机变量间的协方差;P为协方差矩阵;
(14)
式中: 为k时刻随机变量的目标预测信息, 为k‑1时刻随机变量的目标预测信息; 为第k‑1时刻随机变量的过程噪音; 为第k‑1时刻动态系统的控制量;
为第k时刻随机变量的测量噪音; 为运动方程参数矩阵;
通过求解误差 的协方差矩阵的最小迹,得到最优的卡尔曼增益。