1.基于跨任务互学习的多目标跟踪方法,其特征在于,包括以下步骤:S1、读取视频序列的当前帧RGB图像;
S2、利用骨干网络提取当前帧RGB图像的通用特征;
S3、对当前帧RGB图像的通用特征进行特征解耦,得到检测对齐嵌入和重识别对齐嵌入;
S4、根据检测对齐嵌入得到检测基本输出;
S5、利用交叉方向Transformer根据重识别对齐嵌入得到重识别输出;
S6、对检测基本输出和重识别输出进行跨任务交互学习,得到交互后的检测基本输出和重识别输出;
S7、根据交互后的检测基本输出得到当前帧上的目标位置框,并根据中心点位置在交互后的重识别输出上查询出重识别嵌入;
S8、根据重识别嵌入将当前帧与前帧进行帧间关联。
2.如权利要求1所述的基于跨任务互学习的多目标跟踪方法,其特征在于,步骤S3包括:
S31、将通用特征送入特征解耦模块,所述特征解耦模块通过加和全局平均池化和全局最大池化作用于通用特征的结果以求得全局表示向量;
S32、将全局表示向量经过两个线性层和非线性激活函数的变换得到两个特征解耦权重;
S33、通过两个特征解耦权重对通用特征分别加权,得到检测对齐嵌入和重识别对齐嵌入。
3.如权利要求1所述的基于跨任务互学习的多目标跟踪方法,其特征在于,步骤S4包括:
基于关键点的检测头部网络,使用三个不同的卷积层对检测对齐嵌入进行变换投影,得到目标的中心点预测、偏移量预测和尺寸预测。
4.如权利要求1所述的基于跨任务互学习的多目标跟踪方法,其特征在于,步骤S5包括:
S51、将重识别对齐嵌入按照行方向和列方向进行拆分;
S52、在行方向和列方向上进行全局平均池化,得到行序列和列序列;
S53、将行序列和列序列送到两个Transformer编码器中,编码后输出两个方向特征,尺寸和编码前保持一致;
S54、将这两个方向特征和原始特征加权相乘,并将结果经由卷积层投影得到重识别输出。
5.如权利要求1所述的基于跨任务互学习的多目标跟踪方法,其特征在于,步骤S6包括:
S61、取重识别输出上每个像素的嵌入向量,计算统计向量;
S62、对这个统计向量应用非线性变换,得到注意力向量,将每个像素的注意力向量组合到一起,得到注意力矩阵;
S63、将注意力矩阵和检测基本输出加权相乘,得到互学习后的检测基本输出;
S64、将中心点热力图通过Sigmoid函数处理为空间注意力图,并将空间注意力图与重识别输出相乘,得到互学习后的重识别输出。
6.如权利要求1所述的基于跨任务互学习的多目标跟踪方法,其特征在于,步骤S8包括:
S81、将当前帧所有目标的重识别嵌入和所有历史轨迹的重识别嵌入计算余弦相似度以得到亲和度矩阵A,并对历史轨迹使用卡尔曼滤波预测其在当前帧的位置,基于曼哈顿距离计算所有预测框和当前帧检测框之间的亲和度矩阵A',然后利用A'过滤A中不可能关联到一起的目标,即将A中对应位置的值置为无穷大;
S82、使用匈牙利算法针对A求解最优匹配,将亲和度大于阈值的历史轨迹和当前帧检测关联到一起;计算未在上一步匹配上的轨迹和检测之间的IoU距离,利用IoU距离再次构建亲和度矩阵,使用匈牙利算法进行最优匹配的求解;
S83、对于剩余的检测框将其视为临时轨迹,直到下一帧匹配成功再视为新轨迹;对于那些剩余的历史轨迹,若其连续若干帧仍未被匹配上,则视为目标丢失。
7.如权利要求1所述的基于跨任务互学习的多目标跟踪方法,其特征在于,步骤S7和S8之间,还包括以下步骤:
A、判断当前帧是否是初始帧;若是,则返回步骤S1,读取视频序列的下一帧RGB图像;否则,根据重识别嵌入将当前帧与前帧进行帧间关联。
8.如权利要求1所述的基于跨任务互学习的多目标跟踪方法,其特征在于,步骤S8之后,还包括以下步骤:
S9、判断当前帧是否是结尾帧;若是,则结束;否则,返回步骤S1,读取视频序列的下一帧RGB图像,直至处理完结尾帧,完成多目标跟踪。
9.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据存储介质的管理程序,所述数据存储介质的管理程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于跨任务互学习的多目标跟踪方法的步骤。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于跨任务互学习的多目标跟踪方法的步骤。