利索能及
我要发布
收藏
专利号: 202211448150X
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:包括如下步骤:步骤S1、采用one‑shot多目标跟踪方法,将目标检测模块和身份嵌入模块在一个网络中同时进行,使目标检测模块和身份嵌入模块公平的学习并通过对特征提取进行共享来减少网络的计算时间;

步骤S2、采用DLA‑34网络作为主干网络进行特征提取:通过提取第t帧输入图片中目标集合的特征,为后续目标检测模块和身份嵌入模块提供运动特征和表观特征;

步骤S3、加强主干网络特征提取的有效性:采用由spc模块和se通道注意力模块组成的PSA模块学习网络中通道间的关联性;

步骤S4、采用CenterNet作为网络中的目标检测分支,对图像中的非背景信息的待检测目标进行检测和标注检测框;

步骤S5、采用三分化的方法设定目标得分阈值,对被检测目标进行高得分目标、中得分目标、低得分目标的分类,并通过不同的关联方法对高得分目标、中得分目标、低得分目标实现不同程度的关联;

步骤S6、通过被检测目标在前t‑1帧中的状态,采用卡尔曼滤波方法、计算IOU距离或结合卡尔曼滤波方法、计算IOU距离的方法对处于不同阈值的被检测目标进行不同方法的预测,预测被检测目标在第t帧的状态,并采用匈牙利算法对第t帧的所有被检测目标与之前的轨迹进行匹配,完成多目标跟踪。

2.根据权利要求1所述的一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:所述步骤S3中在主干网络的最后一个基本块后面加入一个PSA模块,使网络能提取多尺度特征并学习通道特征间的关联性,具体操作方法如下:步骤S31、将特征图分为n个部分,n个不同尺寸的卷积核分别对这n个部分进行不同尺度的特征提取,之后对提取出的多尺度特征图concat拼接;

步骤S32、将多尺度特征图作为se通道注意力模块的输入特征图,通过se模块获得通道注意力向量以获取多尺度特征信息;

步骤S33、将取得的通道注意力向量拼接并采用Softmax对该注意力向量进行归一化处理;

步骤S34、将归一化后的通道注意力向量分配到spc模块的输出特征图中,完成多尺度通道特征的矫正。

3.根据权利要求2所述的一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:所述步骤S32中通过se模块获得通道注意力向量的具体表现为各通道的注意力权值向量,公式如下:Zi=SE(Fi),i=0,1……s‑1;

其中,Zi为第i个通道的注意力向量,Fi为步骤S31中spc模块所提取的多尺度特征图。

4.根据权利要求2所述的一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:所述步骤S33中采用Softmax对se模块输出的通道注意力向量进行归一化处理的公式如下:S=Softmax(Z),

其中, 为各通道注意力拼接操作,S为归一化后的注意力向量。

5.根据权利要求2所述的一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:所述步骤S34中多尺度通道特征的矫正公式如下:Fn=F⊙S,

其中,F和Fn分别代表经过spc后的特征图以及经过注意力向量矫正过的特征图。

6.根据权利要求1所述的一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:所述步骤S4中在目标检测分支后面附加了分别用来估算热图、目标中心点偏移以及bbox大小的平行头,待检测目标的检测通过预测待检测目标中心点实现,通过带有高斯核的heatmap预测目标中心点位置并通过高斯核所表现的半径设定检测框的大小。

7.根据权利要求1所述的一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:所述步骤S5中用三分化的方法设定目标得分阈值的具体步骤为:步骤S51、通过目标在检测阶段的得分设定两个阈值:s1、s2,进行高得分目标、中得分目标、低得分目标的分类,高得分目标、中得分目标、低得分目标分别代表未被遮挡的目标、轻微遮挡的目标、被重度遮挡的目标,使得所有非背景目标都能与轨迹实现关联;

步骤S52、分别将1~s1代表未被遮挡的目标、s1~s2代表被轻微遮挡的目标、s2~0.1代表被重度遮挡的目标,并将0.1~0视为背景信息。

8.根据权利要求1所述的一种基于通道注意力和三分化目标匹配的多目标跟踪方法,其特征在于:所述步骤S6中对处于不同阈值的目标进行不同方法预测的步骤为:步骤S61、对外观特征和运动特征表现明显的高得分目标进行两次轨迹匹配:第一次匹配根据第t‑1帧和t帧中高得分目标集合 中各目标的检测状态以及目标在t‑1帧中的历史轨迹τt‑1中的轨迹,先由卡尔曼滤波预测t‑1时刻高得分目标集合在第t时刻的状态并将计算出的代价矩阵作为匈牙利算法的输入矩阵,完成轨迹与检测框之间的匹配,第二次匹配通过IOU距离对未匹配的轨迹和未匹配的高得分目标检测框计算相似度并通过匈牙利算法完成轨迹匹配;

步骤S62、对中得分目标进行一次匹配,根据第t‑1帧和t帧中被轻微遮挡的目标集合中各目标的状态以及目标在t‑1帧中的历史轨迹τt‑1中的轨迹,先由卡尔曼滤波预测t‑1时刻中得分目标在第t时刻的状态并基于目标在t时刻的检测到的结果获得代价矩阵并通过匈牙利算法完成匹配;

步骤S63、对低得分目标集合 进行一次匹配,由于低得分目标受遮挡的影响在外观表现上不明显,因此通过计算轨迹τt‑1与低得分目标 的IOU距离并通过匈牙利算法设置较低的阈值进行轨迹匹配。