1.一种基于特征聚合的多目标跟踪算法,其特征在于,包括如下步骤:步骤1、采用目标检测算法对待检测目标进行检测,得到检测框内的目标图像及检测框数据集合 表示t时刻的第i个目标的检测框数据,N为目标的总数;
步骤2、将检测框内的目标图像输入重识别网络,利用重识别网络提取检测目标的外观
1 2 N i
特征,得到外观特征数据集合为ft={ft ,ft ,…,ft},ft表示t时刻的第i个目标的外观特征;
步骤3、利用卡尔曼滤波算法预测跟踪轨迹;
步骤4、基于步骤1中得到的检测目标的检测框数据集Dt、外观特征数据集合ft和预测出的跟踪轨迹,利用关联算法对检测目标和跟踪轨迹进行匹配;
步骤5、利用卡尔曼滤波更新步骤4中匹配成功的跟踪轨迹。
2.根据权利要求1所述的一种基于特征聚合的多目标跟踪算法,其特征在于,步骤3中根据下式预测跟踪轨迹的运动状态:其中, 为第i个目标根据t‑1时刻跟踪轨迹预测出的t时刻的跟踪轨迹;F为状态转移矩阵; 为t‑1时刻第i个目标的跟踪轨迹; 为第i个目标根据t‑1时刻协方差矩阵预测出的t时刻的协方差矩阵; 为 的协方差矩阵;Q为过程噪声协方差矩阵。
3.根据权利要求1所述的一种基于特征聚合的多目标跟踪算法,其特征在于,步骤4中对检测目标和跟踪轨迹进行匹配包括两个阶段,第一匹配阶段是根据检测目标和跟踪轨迹之间的加权相似度进行匹配;第二匹配阶段是根据第一匹配阶段中关联失败的检测目标和关联失败的跟踪轨迹之间的形状相似度进行匹配。
4.根据权利要求3所述的一种基于特征聚合的多目标跟踪算法,其特征在于,第一匹配阶段的处理过程为:
步骤4.1.1、计算第i个检测目标的检测框数据 和第j个跟踪轨迹 之间的外观相似性d1(i,j);
步骤4.1.2、计算第i个检测目标的检测框数据 和第j个跟踪轨迹 之间的运动相似性d2(i,j);
步骤4.1.3、基于外观相似性d1(i,j)和运动相似性d2(i,j),计算第i个检测目标 和第j个跟踪轨迹 之间的加权相似度c(i,j),同理,计算所有检测目标与所有跟踪轨迹之间的加权相似度c(i,j),并由所有的加权相似度组成加权相似度矩阵;
步骤4.1.4、利用匈牙利算法对加权相似度矩阵进行处理,得到检测目标和跟踪轨迹之间的关联矩阵At={ai,j}N×M,ai,j为第i个检测目标 和第j个跟踪轨迹 关联系数;若ai,j=1,表示第i个检测目标 和第j个跟踪轨迹 关联成功,则第i个检测目标 和第j个跟踪轨迹 形成一个匹配对;若ai,j≠1,表示第i个检测目标 和第j个跟踪轨迹 未关联;
步骤4.1.5、基于步骤4.1.4中匹配对的加权相似度c(i,j)再次进行筛选,若匹配对的加权相似度c(i,j)小于阈值w,则认为匹配对在第一阶段关联失败,反之,匹配对在第一阶段关联成功;第一阶段关联成功的检测目标记为 第一阶段关联成功的跟踪轨迹记为 c表示关联成功对数;第一阶段关联失败的检测目标记为 和第一阶段关联失败的跟踪轨迹记为
5.根据权利要求4所述的一种基于特征聚合的多目标跟踪算法,其特征在于,第二匹配阶段的处理过程为:
i
步骤4.2.1、计算第一阶段关联失败的第i个检测目标D unmatched与第j个跟踪轨迹j
Xunmached之间的形状相似度IOU(i,j);计算第一阶段所有关联失败的检测目标Dunmatched与跟踪轨迹Xunmached之间的形状相似度IOU(i,j),并由所有的IOU(i,j)组成形状相似度矩阵;
步骤4.2.2、对形状相似度矩阵再次利用匈牙利算法进行匹配,得到关联失败的检测目i j
标D unmatched和跟踪轨迹X unmache之间的关联矩阵Bt={bi,j}N×M;bi,j为第i个检测目标i j i
Dunmatched和第j个跟踪轨迹Xunmached关联系数;若bi,j=1表示第i个检测目标Dunmatched和第jj i j
个跟踪轨迹Xunmached关联成功,且第i个检测目标Dunmatched和第j个跟踪轨迹Xunmached形成一i j
个匹配对;若bi,j≠1否则表示第i个检测目标Dunmatched和第j个跟踪轨迹Xunmached关联失败;
步骤4.2.3、在关联成功的匹配对中,将检测目标与跟踪轨迹的形状相似度IOU(i,j)值小于阈值r的匹配对归为第二阶段关联失败,反之认为第二阶段关联成功;
i
步骤4.2.4、将第二阶段关联失败的检测目标D unmatched被认定为新出现的检测目标并初始化检测目标 为轨迹;
j
而第二阶段关联失败的跟踪轨迹Xunmached若已经连续关联失败超过Ldel帧,则从当前跟踪轨迹列表中剔除。
6.根据权利要求1所述的一种基于特征聚合的多目标跟踪算法,其特征在于,步骤5中,根据下式更新步骤4中关联成功的跟踪轨迹:其中, 为卡尔曼滤波增益,H为观测矩阵,R为测量噪声协方差矩阵; 为t时刻第i个i
目标的跟踪轨迹, 为第i个目标根据t‑1时刻跟踪轨迹预测出的t时刻的跟踪轨迹;Pt为的协方差矩阵; 为第i个目标根据t‑1时刻协方差矩阵预测出的t时刻的协方差矩阵;
是第i个检测目标。
7.根据权利要求1‑6中任意一项权利要求所述的一种基于特征聚合的多目标跟踪算法,其特征在于,所述重识别网络是由2个卷积层、1个最大值池化层、6个特征聚合模块和1个线性全连接层组成;目标图像依次经过2个卷积层、1个最大值池化层、6个特征聚合模块和1个线性全连接层的处理得到外观特征数据集合。
8.根据权利要求7所述的一种基于特征聚合的多目标跟踪算法,其特征在于,所述特征聚合模块是由1个3×3的卷积层、1个dropout层、1个3×3的卷积层、1个1×1的卷积层构成;
输入特征聚合模块的输入特征图依次经过3×3的卷积层、dropout层和3×3的卷积层的处理,分别输出相应的第一特征图、第二特征图和第三特征图;对第一特征图、第二特征图和第三特征图进行聚合得到总特征图,将总特征图输入1×1的卷积层进行计算得到输出特征图;将输出特征图与输入特征图进行加法运算得到聚合特征图。