1.一种多目标跟踪方法,其特征在于,包括:
获取当前视频帧图像,并计算所述当前视频帧图像的共享特征;
在通道维度对所述共享特征进行全局平均池化,得到共享语义特征向量;
将所述共享语义特征向量通过维度变换获得一个代表浅层语义信息的低维向量和一个代表深层语义信息的高维向量;
对通道乱序重排后的低维向量和高维向量进行分裂和重组操作,得到分别适配检测分支和适配重识别分支的同时具有浅层和深层语义信息的多维语义向量;
将适配检测分支的多维语义向量和适配重识别分支的多维语义向量分别通过两组参数独立的全连接层、归一池化操作和Sigmoid激活函数处理,完成多维语义向量的对齐;
将对齐后的两个多维语义向量分别与共享特征加权求和,获得多维度语义对齐的检测特征和重识别特征;
根据所述检测特征和重识别特征计算得到当前帧检测框和当前帧外观嵌入向量;
判断所述当前视频帧图像是否为第一帧,若不是第一帧,则将所述当前帧检测框和所述当前帧外观嵌入向量与历史帧轨迹进行匹配关联;
继续处理下一视频帧图像,直至视频结束。
2.根据权利要求1所述的多目标跟踪方法,其特征在于,所述对通道乱序重排后的低维向量和高维向量进行分裂和重组操作,得到分别适配检测分支和适配重识别分支的同时具有浅层和深层语义信息的多维语义向量包括:通过四个独立参数的全连接操作对所述通道乱序重排后的低维向量和高维向量分别采样,得到适配检测分支的浅层语义向量和深层语义向量以及适配重识别分支的浅层语义向量和深层语义向量;
分别对所述适配检测分支的浅层语义向量和深层语义向量以及所述适配重识别分支的浅层语义向量和深层语义向量进行组合,得到所述分别适配检测分支和适配重识别分支的同时具有浅层和深层语义信息的多维语义向量。
3.根据权利要求1所述的多目标跟踪方法,其特征在于,所述将对齐后的两个多维语义向量分别与共享特征加权求和,获得多维度语义对齐的检测特征和重识别特征后包括:将所述重识别特征在空间维度的两个方向上进行轴向池化,得到两个轴向特征;
将所述两个轴向特征沿着通道维度方向进行聚合,得到聚合特征;
将所述聚合特征输入空间对齐模块中完成局部和全局信息的一致性对齐,得到聚合对齐特征;
将所述聚合对齐特征沿着通道维度的方向分裂成两个轴向对齐特征;
将所述两个轴向对齐特征经过线性变换和激活函数操作后先后与所述重识别特征加权融合,再与所述重识别特征残差连接,得到跨区域对齐的重识别特征。
4.根据权利要求3所述的多目标跟踪方法,其特征在于,所述将所述聚合特征输入空间对齐模块中完成局部和全局信息的一致性对齐,得到聚合对齐特征包括:将所述聚合特征沿着聚合通道分组乱序重排,并经过两个全连接和激活函数操作完成空间轴向特征对齐;
将空间轴向特征对齐后的聚合特征沿空间轴向维度进行移位操作,并经过两个全连接和激活函数操作完成跨区域轴向特征对齐;
将所述跨区域轴向特征对齐后的聚合特征通过移位恢复和组恢复得到所述聚合对齐特征。
5.根据权利要求1所述的多目标跟踪方法,其特征在于,所述根据所述检测特征和重识别特征计算得到当前帧检测框和当前帧外观嵌入向量包括:根据所述检测特征计算得到热力图张量、偏移分支张量和大小分支张量,进而得到所述当前帧检测框;
根据所述重识别特征计算得到外观嵌入张量,并提取得到当前帧外观嵌入向量。
6.根据权利要求5所述的多目标跟踪方法,其特征在于,所述根据所述检测特征和重识别特征计算得到当前帧检测框和当前帧外观嵌入向量后包括:将所述热力图张量、所述偏移分支张量和所述大小分支张量合并,得到合并特征;
将所述当前帧外观嵌入向量进行线性变换和激活函数操作得到流行空间的第一投影向量和第二投影向量;
将所述合并特征与所述第一投影向量相乘,并进行线性变换和激活函数操作得到检测特征和重识别特征对齐的合并特征;
将所述检测特征和重识别特征对齐的合并特征与所述第二投影向量相乘,得到关联信息对齐的检测向量;
将所述关联信息对齐的检测向量进行拆解,得到关联信息对齐的热力图张量、偏移分支张量和大小分支张量,进而得到流形空间投影对齐的当前帧检测框。
7.根据权利要求1所述的多目标跟踪方法,其特征在于,所述将所述当前帧检测框和所述当前帧外观嵌入向量与历史帧轨迹进行匹配关联包括:计算当前帧所有目标和历史帧目标的重识别嵌入亲和度矩阵,并结合卡尔曼滤波,为轨迹关联加入运动模型的约束;
利用匈牙利算法求解最优匹配,更新当前帧目标轨迹状态;
利用IOU距离对未匹配的目标进行再匹配,更新当前帧目标轨迹状态。
8.一种多目标跟踪的装置,其特征在于,包括:
共享特征计算模块,用于获取当前视频帧图像,并计算所述当前视频帧图像的共享特征;
共享语义特征向量计算模块,用于在通道维度对所述共享特征进行全局平均池化,得到共享语义特征向量;
维度变换模块,用于将所述共享语义特征向量通过维度变换获得一个代表浅层语义信息的低维向量和一个代表深层语义信息的高维向量;
多维语义向量计算模块,用于对通道乱序重排后的低维向量和高维向量进行分裂和重组操作,得到分别适配检测分支和适配重识别分支的同时具有浅层和深层语义信息的多维语义向量;
多维语义向量对齐模块,用于将适配检测分支的多维语义向量和适配重识别分支的多维语义向量分别通过两组参数独立的全连接层、归一池化操作和Sigmoid激活函数处理,完成多维语义向量的对齐;
检测特征和重识别特征计算模块,用于将对齐后的两个多维语义向量分别与共享特征加权求和,获得多维度语义对齐的检测特征和重识别特征;
检测框和外观嵌入向量计算模块,用于根据所述检测特征和重识别特征计算得到当前帧检测框和当前帧外观嵌入向量;
匹配关联模块,用于判断所述当前视频帧图像是否为第一帧,若不是第一帧,则将所述当前帧检测框和所述当前帧外观嵌入向量与历史帧轨迹进行匹配关联;
循环处理模块,用于继续处理下一视频帧图像,直至视频结束。
9.一种多目标跟踪的设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述一种多目标跟踪方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种多目标跟踪方法的步骤。