1.一种多目标跟踪方法,其特征在于,包括:
获取视频的原始帧图像输入骨干网络中,输出行人特征;
根据所述行人特征计算得到当前帧检测框和对应的当前帧外观嵌入向量;
判断所述当前帧图像是否为第一帧,若所述当前帧图像不是第一帧,则对当前帧检测框和对应的所述当前帧外观嵌入向量,与前一帧轨迹和跟随前一帧轨迹进行更新的外观嵌入向量进行匹配关联;
若匹配成功,则根据当前帧检测框置信度和前一帧轨迹量化分数计算当前帧轨迹量化分数,将所述当前帧外观嵌入进行更新,并判断轨迹状态,将匹配成功的激活状态轨迹标记为追踪状态,匹配成功的暂时丢失轨迹状态标记为激活状态;
若匹配失败,所述前一帧轨迹量化分数减去预设常量得到所述当前帧轨迹量化分数,所述外观嵌入不进行更新,并将匹配失败的当前帧检测框标记为新的未激活状态轨迹,根据所述当前帧轨迹量化分数和预设阈值重设当前帧轨迹状态继续匹配,当所述当前帧量化分数小于预设阈值时,将所述当前帧轨迹丢弃;
将匹配失败的当前帧检测框标记为新的未激活状态轨迹;当所述未激活状态轨迹的量化分数大于等于第一预设阈值时,便被激活为激活状态轨迹;当所述激活状态轨迹在多帧中匹配失败,但其量化分数并未低于第二预设阈值时,状态转为暂时丢失状态继续匹配,若暂时丢失状态轨迹再一次匹配成功时,状态会由所述暂时丢失状态转为所述激活状态;当所述暂时丢失状态轨迹的量化分数小于第二预设阈值时,认为该目标已经在视频序列中消失,则将该轨迹改为丢弃状态,不参与后续的匹配环节;
对下一帧图像进行上述操作直至所述视频结束;
其中,所述根据当前帧检测框置信度和前一帧轨迹量化分数计算当前帧轨迹量化分数,将当前帧外观嵌入进行更新包括:当匹配成功时 所述外观嵌入ETt=(α‑δ)
×ETt‑1+(1‑α+δ)×EDt;
其中,ST为轨迹量化分数,SD为检测框置信度,ET和ED分别为轨迹和检测框的外观嵌入, 是通过所述检测框置信度计算得到的一个影响因子,α为常数。
2.根据权利要求1所述的多目标跟踪方法,其特征在于,所述根据所述行人特征计算得到当前帧检测框和对应的当前帧外观嵌入向量包括:将所述行人特征输入与整体模型一同利用Adam算法进行训练后的通道增强特征重规划模块,将所述行人特征自适应地划分为检测子任务特征和跟踪子任务特征;
根据所述检测子任务特征和所述跟踪子任务特征分别计算得到所述当前帧检测框和对应的所述当前帧外观嵌入向量。
3.根据权利要求2所述的多目标跟踪方法,其特征在于,所述将所述行人特征输入与整体模型一同利用Adam算法进行训练后的通道增强特征重规划模块,将所述行人特征自适应地划分为检测子任务特征和跟踪子任务特征包括:将所述行人特征输入所述通道增强特征重规划模块;
H×W×C H×W×1
所述行人特征Ft∈R 通过两个逐点卷积后得到第一特征Fq∈R 和第二特征Fv∈H×W×rCR ;
将所述第一特征Fq经过softmax函数后再与重新排列后的第二特征Fv进行矩阵相乘,得到一个包含着全局信息和通道维度信息的行人特征向量Vcha;
将所述行人特征向量Vcha采用两组卷积层‑归一化‑ReLU激活函数‑通道混淆操作后,分别得到所述检测子任务特征向量Vdet和所述跟踪子任务特征向量Vid;
H×W×C
将所述行人特征Ft∈R 输入通道数扩大r倍并包括所述卷积层‑归一化‑ReLU激活函数‑通道混淆操作的残差分支后得到重建行人特征F′;
所述检测子任务特征向量Vdet和所述跟踪子任务特征向量Vid进行广播后,再与所述重建行人特征F′进行元素级别的对应相乘,得到最终子任务需要的所述检测子任务特征Fdet和所述跟踪子任务特征Fid。
4.根据权利要求2所述的多目标跟踪方法,其特征在于,所述根据所述检测子任务特征计算得到所述当前帧检测框包括:所述检测子任务特征包括热力图、偏移分支和大小分支;
将所述检测子任务特征进行卷积和ReLU激活操作,得到热力图张量Oheatmap,偏移分支张量Ooffset和大小分支张量Osize;
根据Oheatmap,Ooffset和Osize计算所述当前帧检测框Di,i∈[1,…,M],M为当前帧的检测框的个数。
5.根据权利要求4所述的多目标跟踪方法,其特征在于,所述根据所述跟踪子任务特征计算得到所述当前帧外观嵌入向量包括:所述跟踪子任务特征包括外观嵌入分支;
将所述跟踪子任务特征进行卷积和ReLU激活操作,得到外观嵌入张量Oid;
根据所述当前帧检测框Di的中心点位置,在Oid中相应位置提取对应的所述当前帧外观嵌入向量EDi,i∈[1,…,M]。
6.根据权利要求1所述的多目标跟踪方法,其特征在于,所述判断所述当前帧图像是否为第一帧后包括:若所述当前帧图像是第一帧,则进行轨迹初始化,所述当前帧轨迹量化分数等于所述当前帧检测框置信度 所述当前帧外观嵌入为所述当前帧检测框对应的所述当前帧外观嵌入
7.一种多目标跟踪装置,其特征在于,包括:
特征提取模块,用于获取视频的原始帧图像输入骨干网络中,输出行人特征;
目标检测和外观提取模块,用于根据所述行人特征计算得到当前帧检测框和对应的当前帧外观嵌入向量;
匹配关联模块,用于判断所述当前帧图像是否为第一帧,若所述当前帧图像不是第一帧,对当前帧检测框和对应的所述当前帧外观嵌入向量,与前一帧轨迹和跟随前一帧轨迹进行更新的外观嵌入向量进行匹配关联;
匹配成功轨迹更新模块,用于若匹配成功,则根据当前帧检测框置信度和前一帧轨迹量化分数计算当前帧轨迹量化分数,将所述当前帧外观嵌入进行更新,并判断轨迹状态,将匹配成功的激活状态轨迹标记为追踪状态,匹配成功的暂时丢失轨迹状态标记为激活状态;其中,所述根据当前帧检测框置信度和前一帧轨迹量化分数计算当前帧轨迹量化分数,将当前帧外观嵌入进行更新包括:当匹配成功时 所述外观嵌入ETt=(α‑δ)
×ETt‑1+(1‑α+δ)×EDt;
其中,ST为轨迹量化分数,SD为检测框置信度,ET和ED分别为轨迹和检测框的外观嵌入, 是通过所述检测框置信度计算得到的一个影响因子,α为常数;
匹配失败轨迹更新模块,用于若匹配失败,所述前一帧轨迹量化分数减去预设常量得到所述当前帧轨迹量化分数,所述当前帧外观嵌入不进行更新,并将匹配失败的当前帧检测框标记为新的未激活状态轨迹,根据所述当前帧轨迹量化分数和预设阈值重设当前帧轨迹状态继续匹配,当所述当前帧量化分数小于预设阈值时,将所述当前帧轨迹丢弃;当所述未激活状态轨迹的量化分数大于等于第一预设阈值时,便被激活为激活状态轨迹;当所述激活状态轨迹在多帧中匹配失败,但其量化分数并未低于第二预设阈值时,状态转为暂时丢失状态继续匹配,若暂时丢失状态轨迹再一次匹配成功时,状态会由所述暂时丢失状态转为所述激活状态;当所述暂时丢失状态轨迹的量化分数小于第二预设阈值时,认为该目标已经在视频序列中消失,则将该轨迹改为丢弃状态,不参与后续的匹配环节;
结束判断模块,用于对下一帧图像进行上述操作直至所述视频结束。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种多目标跟踪方法的步骤。