1.一种基于特征解耦融合网络的多目标跟踪方法,其特征在于,该方法包括如下步骤:步骤1,对多行人目标视频数据集预处理,将数据集每一帧输入基于DLA‑34构建的骨干网络学习多尺度特征;
步骤2,将多尺度特征输入检测分支进行特征融合,特征融合方法采用自下而上的融合方法,以获得目标位置信息;
步骤3,将多尺度特征送入Re‑ID分支进行特征融合,采用自上而下的方法来融合特征图,以获得目标外观特征信息;
步骤4,基于步骤2和步骤3提取到的目标位置信息和外观特征信息,利用自适应加权融合策略计算得到关联代价矩阵,采用匈牙利算法基于代价矩阵得到目标初步关联跟踪结果;
步骤5,利用每帧跟踪结果构建目标跟踪轨迹,依据轨迹时间与位置信息,利用多层感知机MLP预测轨迹同属一个目标的概率,利用jonker‑volgenant算法完成轨迹链接以实现对目标稳定跟踪;
步骤1中,将包含 帧的多行人目标视频图像序列中每一帧缩放为1088×608像素的固定大小输入DLA‑34骨干网络,获得4种尺度的特征图 , ,分别对应输入特征图下采样4、8、16和32倍;
步骤2中,将多尺度特征图 输入迭代深度聚合IDA模块得到目标位置信息用于检测,具体过程如公式(1)所示:(1)
其中, 表示由可变形卷积和反卷积组成的上采样操作, 表示用于改变特征通道的 卷积层, 被用作检测分支的输入特征图,输入多层卷积网络获得每一帧中所有目标的位置信息 表示检测到的目标个数,分别代表第 个目标的左上角 轴坐标、目标的宽、高和目标检测置信度,其中, 轴坐标、目标的宽和高构成目标的位置检测框。
2.根据权利要求1所述的一种基于特征解耦融合网络的多目标跟踪方法,其特征在于,步骤3中,采用一种自上而下的方法融合多尺度特征图获得外观特性信息,具体如公式(2)所示:(2)
其中, 表示 激活函数, 被用作Re‑ID分支的输入特征图,输入多层卷积层网络提取每个像素位置上的外观特征向量,记作 。
3.根据权利要求2所述的一种基于特征解耦融合网络的多目标跟踪方法,其特征在于,步骤4中,采用自适应加权融合策略基于步骤2和3得到的目标位置信息 和外观特征向量得到关联代价矩阵,设 分别代表位置相似度与外观相似度矩阵, 的第i行、第j列元素对应计算方式为:(3)
为上一帧跟踪的目标在当前帧中由卡尔曼滤波算法得到的预
测位置框集合,在第一帧中为空, 为上一帧跟踪的目标个数; 和 分别为 和 中一个目标的检测位置框和预测位置框, 为包含 和 的最小外接矩阵;
E的第i行、第j列元素对应计算方式为:
(4)
其中, 是从 的 和 位置框中心点处提取的外观特征向量; 和分别被定义为E中第i行、第j列的最高值和次高值的差,E第i行、第j列元素对应的修正权重 为:(5)
将修正权重用作关联匹配的代价矩阵 ,其中,第i行、第j列元素的计算方式为:。
4.根据权利要求1所述的一种基于特征解耦融合网络的多目标跟踪方法,其特征在于,步骤4中,利用匈牙利算法进行目标关联过程如下:根据第一置信度阈值 和第二置信度阈值 将步骤2中得到的D分为两部分;对于置信度高于 的检测框,将其放入高分检测集合 中;对于置信度在 到中间的检测框,将他们放入低分数检集合 中;第一次关联匹配在 和 之间执行,使用匈牙利算法完成基于代价矩阵 的第一次匹配;将 中未匹配的检测结果保存至 ,将 中未匹配的目标保存至 ;第二次关联使用匈牙利算法对检测框和 进行匹配,在每一帧进行关联匹配后,基于卡尔曼滤波对现有 进行更新,并将 作为新目标加入 。
5.根据权利要求4所述的一种基于特征解耦融合网络的多目标跟踪方法,其特征在于,在步骤5中,为 中每个目标依据最近30帧的帧编号 和中心点坐标 创建轨迹,对于短于30帧长度的轨迹,采用零向量对轨迹进行填充;任选一个轨迹对 与 沿着时间维度 用 卷积核提取时间特征,用 卷积核对 三个不同维度特征进行融合;轨迹对转化为两个特征映射,分别经过池化压缩后转为两个特征向量,接着进行向量拼接 操作;拼接后的向量包含时间与位置信息,送入MLP预测 与 同属于一个目标的概率;基于预测的概率,利用jonker‑volgenant算法完成轨迹链接,两段轨迹被链接为一个目标的连续轨迹,实现对目标稳定跟踪。