利索能及
我要发布
收藏
专利号: 2023111649791
申请人: 浙江工业大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述方法包括以下步骤:

(1)选择多目标跟踪数据集并进行图像的预处理;

(2)搭建网络模型,在骨干网络之后加入设计的辨别增强模块,在辨别增强模块之后加入检测分支的预测头和设计的身份保留模块,最后在身份保留模块之后加入re‑ID分支的预测头;

(3)训练时随机选择数据集视频中某帧的图片作为输入,将数据集标注中每一个行人的坐标作为检测分支的样本,每一个行人的id标识作为身分特征训练的样本;

(4)测试时将视频的当前帧作为输入,经过特征提取之后首先通过辨别增强模块得到增强后的特征,再将增强后的特征分别输入金检测的预测头和身份保留模块,最后得到当前帧的检测结果和身份特征;

(5)匹配过程分三步,第一步,将当前帧和前一帧连接,对新检测目标进行外观和距离的匹配;第二步,再次将当前帧和前一帧连接,计算上一步没有匹配成功的IOU距离;第三步,更新状态,用于下一帧的匹配。

2.如权利要求1所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(1)中,使用的多目标跟踪数据集为MOT17和MOT20,所述预处理包括HSV的增强、旋转、缩放、平移和剪切。

3.如权利要求1或2所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(2)中,网络模型的框架可以看成有三部分组成,分别是特征提取骨干网络,用于提取当前帧图片的特征;辨别增强模块,用于对当前帧对象的辨别特征进行增强,它有一个空间注意增强和一个通道注意增强组成;身份保留模块,它由通道注意力组成,用于重新校准通道,以实现针对特定对象的信息,并保留身份特征的语义对齐。

4.如权利要求1或2所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(3)中,训练时,检测分支由三部分组成:物体中心点的热力图、物体中心距离上下左右的距离和一个中心点的偏移量,匹配分支只有训练身份特征,两个分支同时进行训练。

5.如权利要求1或2所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(4)中,测试时,首先对当前图片经过骨干网络进行特征提取,然后通过辨别增强模块首先得到检测结果,再经由身份保留模块得到身份特征,用于区分不同目标,完成分类任务,最后通过后处理得到当前帧所有对象的坐标框和用于匹配的身份特征。

6.如权利要求1或2所述的一种基于注意力机制的单阶段多目标跟踪方法,其特征在于,所述步骤(5)中,首先用Kalman滤波和Re‑ID特征获得初步结果,用匈牙利算法进行匹配;然后,对于无法匹配的轨迹和检测,通过设定IOU阈值进行第二次匹配;最后,将未匹配的检测初始化为新的轨迹,并将未匹配的轨迹保存30帧,以备将来再次出现。