利索能及
我要发布
收藏
专利号: 2025100587409
申请人: 烟台大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种跨摄像头多车辆跟踪方法,其特征在于,具体包括:

S1、获取多个摄像头的视频,识别视频中每一帧图像中的目标车辆,并输出目标车辆的基础信息,包括目标车辆的类别标签、类别置信度和边界框;

S2、将识别出目标车辆的图像,按照预设块的大小分割为N个不重叠的补丁,每个补丁作为一个图像令牌;

根据目标车辆的类别标签,分配类别令牌;

将目标车辆分为车头、车身和车尾,并分配对应的部分令牌;

基于类别令牌与图像令牌,进行全局注意力处理后,输出全局特征;

基于部分令牌与图像令牌,进行局部注意力处理后,输出局部特征;

S3、每个部分令牌的历史特征组成融合特征;将融合特征与每一个局部特征进行比较,计算与局部特征的相似偏差函数值,按照从小到大排序,从相似偏差函数值最小的融合特征开始选取,取第一阈值数量的融合特征作为正样本集合;将正样本集合中的融合特征与局部特征进行比较,计算与局部特征的相似偏差函数值,按照从小到大排序,从相似偏差函数值最小的融合特征开始选取,取第二阈值数量的融合特征作为相似特征集合,并与全局特征相加后生成组合特征;

S4、同一段视频的不同帧图像中,基于组合特征匹配目标车辆,若识别到目标车辆,则目标车辆边界框的坐标集合形成活动轨迹,构建目标车辆的当前帧之前的历史轨迹特征,每个历史轨迹特征由活动轨迹中目标车辆边界框中心和目标车辆边界框尺寸归一化构成,通过线性变换转化为时间令牌;根据时间令牌推理生成目标车辆当前帧的预测轨迹,计算当前帧的预测轨迹与当前帧实际活动轨迹的偏差,若偏差小于偏差阈值,则汇总当前帧的预测轨迹和活动轨迹,生成目标车辆的时间轨迹,进一步得到完整轨迹;

S5、对多个摄像头的目标车辆的完整轨迹进行聚类处理,合并目标车辆的完整轨迹完成跨摄像头车辆跟踪。

2.根据权利要求1所述的一种跨摄像头多车辆跟踪方法,其特征在于,所述相似偏差函数为:,

其中, 表示相似偏差函数值,m为融合特征索引,K为数据集中的样本数,j为样本的索引,pi表示图像的局部区域, 为局部特征向量, 为特征向量,为温度系数,n为参与计算的融合特征的数量。

3.根据权利要求1所述的一种跨摄像头多车辆跟踪方法,其特征在于,S4中,若在当前帧的图像中未识别到目标车辆,则将这一帧图像划分为丢失轨迹。

4.根据权利要求3所述的一种跨摄像头多车辆跟踪方法,其特征在于,基于丢失轨迹所在祯对应的时间和时间轨迹进行推理,修补丢失轨迹,并将修补后的丢失轨迹与时间轨迹拼接成完整轨迹,具体修补丢失轨迹方法为:,

其中, 为目标在时间t+1处的丢失轨迹, 为活动轨迹,为目标在时间步t处的活动轨迹。

5.根据权利要求1所述的一种跨摄像头多车辆跟踪方法,其特征在于,所述根据时间令牌推理生成目标车辆预测轨迹,具体步骤为:,

,

,

,

其中, 为第一次推理的输出, 为第 l‑1 层的输出, 为第二次推理的输出,为两次输出的融合, 为第 l层的输出, 为第一次推理的运算模块,为第二次推理的运算模块, 为多层感知机运算, 为归一化运算。

6.根据权利要求1所述的一种跨摄像头多车辆跟踪方法,其特征在于,所述融合特征组成内存库,内存库更新公式为:,

其中, 为融合特征,pi表示图像的局部区域,t为更新的轮次,m为动量系数, 表示局部特征的提取函数,j为样本的索引,j=1,…,K;K为数据集中的样本数。

7.根据权利要求1所述的一种跨摄像头多车辆跟踪方法,其特征在于,所述全局注意力处理和局部注意力处理的具体步骤为:全局注意力处理:类别令牌作为查询,与全部图像令牌的键进行对比计算出注意力权重,从而对所有图像令牌进行加权求和,得到全局特征;

局部注意力处理:部分令牌作为查询,针对图像中每个部分令牌对应的图像令牌的键进行加权处理,得到局部特征。

8.根据权利要求1所述的一种跨摄像头多车辆跟踪方法,其特征在于,S5的具体操作步骤为:取多个摄像头的视频覆盖区域的中心作为圆心,以90°圆心角将覆盖区域划分四个子区域,将目标车辆的完整轨迹按照相同子区域进行聚类,搜索每两个摄像头中目标车辆完整轨迹的交集,合并有交集的完整轨迹完成跨摄像头车辆跟踪。

9.一种跨摄像头多车辆跟踪系统,其特征在于,包括:

识别模块:获取多个摄像头的视频,识别视频中每一帧图像中的目标车辆,并输出目标车辆的基础信息,包括目标车辆的类别标签、类别置信度和边界框;

再识别模块:将识别出目标车辆的图像,按照预设块的大小分割为N个不重叠的补丁,每个补丁作为一个图像令牌;

根据目标车辆的类别标签,分配类别令牌;

将目标车辆分为车头、车身和车尾,并分配对应的部分令牌;

基于类别令牌与图像令牌,进行全局注意力处理后,输出全局特征;

基于部分令牌与图像令牌,进行局部注意力处理后,输出局部特征;

特征处理模块:每个部分令牌的历史特征组成融合特征;将融合特征与每一个局部特征进行比较,计算与局部特征的相似偏差函数值,按照从小到大排序,从相似偏差函数值最小的融合特征开始选取,取第一阈值数量的融合特征作为正样本集合;将正样本集合中的融合特征与局部特征进行比较,计算与局部特征的相似偏差函数值,按照从小到大排序,从相似偏差函数值最小的融合特征开始选取,取第二阈值数量的融合特征作为相似特征集合,并与全局特征相加后生成组合特征;

单摄像头轨迹跟踪模块:同一段视频的不同帧图像中,基于组合特征匹配目标车辆,若识别到目标车辆,则目标车辆边界框的坐标集合形成活动轨迹,构建目标车辆的当前帧之前的历史轨迹特征,每个历史轨迹特征由活动轨迹中目标车辆边界框中心和目标车辆边界框尺寸归一化构成,通过线性变换转化为时间令牌;根据时间令牌推理生成目标车辆当前帧的预测轨迹,计算当前帧的预测轨迹与当前帧实际活动轨迹的偏差,若偏差小于偏差阈值,则汇总当前帧的预测轨迹和活动轨迹,生成目标车辆的时间轨迹,进一步得到完整轨迹;

多摄像头轨迹跟踪模块:对多个摄像头的目标车辆的完整轨迹进行聚类处理,合并目标车辆的完整轨迹完成跨摄像头车辆跟踪。

10.一种跨摄像头多车辆跟踪设备,其特征在于,包括处理器和存储器,所述处理器执行保存的计算机程序时,实现如权利要求1‑8任一项所述的一种跨摄像头多车辆跟踪方法。