利索能及
我要发布
收藏
专利号: 2022111133459
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于对象级变换神经网络的跟踪方法,通过构建的对象级变换神经网络进行目标跟踪,其特征在于:包括以下步骤:

1)根据给定的视频序列和第一帧的标注信息Box1,获取待跟踪视频序列的跟踪模板Z和动态局部模板Zdl;其中动态局部模板Zdl由跟踪模板Z处理后获得,包含9个局部模板;

2)根据上一帧的标注信息,获取待跟踪视频序列的搜索图片Si;

3)基于步骤1)和步骤2)将跟踪模板Z、动态局部模板Zdl和搜索图片Si作为对象级变换神经网络的输入,获取特征编码后的搜索图片特征X;

4)基于步骤3)将编码后的搜索图片特征X作为角点预测网络的输入,获得当前帧中目标定位信息Boxi;

5)通过动态局部模板更新策略更新局部模板;根据步骤4)预测的Boxi,使用与步骤1)一样的方式获取当前动态局部模板Zdli;同时,根据Boxi通过PrRoIPooling获取对应Zdli中9个局部模板的特征向量,并输入到质量评估网络获取可靠性评分;根据得到的可靠性评分和动态局部模板Zdli,对历史动态局部模板Zdl中评分低的部分进行替换。

2.根据权利要求1所述的基于对象级变换神经网络的跟踪方法,其特征在于:步骤1)所述的获取待跟踪视频序列的跟踪模板Z和动态局部模板Zdl,包括以下子步骤:(11)将人为标注的跟踪目标包围框信息放大预设第一倍数,从待根据视频序列第一帧图片中裁剪出跟踪模板Z;

(12)复制一份跟踪模板Z,以滑动窗口的方式分割出九块局部模板Zdl;其中滑动窗口宽高为跟踪模板大小的二分之一,步长为跟踪模板大小的四分之一。

3.根据权利要求1所述的基于对象级变换神经网络的跟踪方法,其特征在于:步骤2)所述的获取待跟踪视频序列的搜索图片Si,具体方法为:将上一帧的跟踪结果信息Boxi‑1放大预设第二倍数,从当前待处理的帧中裁剪出搜索图片。

4.根据权利要求1所述的基于对象级变换神经网络的跟踪方法,其特征在于:步骤3)所述的获取对象级变换神经网络,包括以下子步骤:(31)跟踪模板 动态局部模板 与搜索特征

拼接在一起作为对象变换神经网络的输入

(32)将输入X进行拆分和变形后通过全卷积嵌入层进行下采样;

(33)将下采样后的特征进行特征编码;

(34)对象级变换神经网络采用分层的多阶段架构,分为三个阶段,每个阶段之前通过全卷积嵌入层对特征进行下采样;在每个阶段,重复执行相同的操作数次,编码输入特征中的目标判别性信息,其中第一阶段和第二阶段重复一次,第三阶段重复九次;

(35)特征编码部分包含级联的对象级注意力和通道注意力;其中对象级注意力采用迭k代二分聚类算法将输入 经过k个迭代后划分为2个对象簇;在第每次迭代,随机初始化两个簇中心 和 公式如下:其中 表示输入X中的某一个向量,m=N/2;然后将簇中心移动两次保证可靠性,采用如下操作:T

[c1;c2]=Softmax([c1;c2]X)X                         (2)其中 表示两个簇中心的拼接,T表示转置;然后计算余弦距离率r如下:

其中D(a,b)表示计算a和b之间的余弦距离;最后,对余弦距离率进行排序,将输入X划分为两个簇,具体公式如下:其中 和 表示两个划分后的簇,argsort表示获取排序后的下标;k个迭代后,对特征序列 进行空间注意力编码,具体方法如下:其中 由 经过线性层后生成;h表示计算过程中头的数量,d=C/h,T表示转置;最终,获得经过对象级注意力编码后的特征通道注意力将编码后的特征 进行按通道编码,具体公式如下:其中 由XSA经过线性层后生成;h表示计算过程中头的数量,d=C/h,T表示转置;最终,获得经过通道注意力编码后的特征

5.根据权利要求1所述的基于对象级变换神经网络的跟踪方法,其特征在于:步骤5)所述的动态局部模板更新策略,包括以下子步骤:(51)根据步骤1),获取新的动态局部模板;

(52)利用PrRoIPooling从抽取对应的九个特征向量 将Xroi和跟踪模板特征 作为可靠性评分计算过程的输入;

(53)质量评估网络具体公式如下:

Sroi=σ(W1Rroi)                             (8)其中 表示可靠性评分; 由Xroi经过全连接层生成,由XZ经过全连接层生成;W1全连接层操作,σ表示激活函数ReLU,T表示转置;

(54)为了避免引入过多跟踪目标的中间局部模板,仅再对应位置进行局部模板更新,具体如下:其中,argsort表示获取排序后的下标,topk表示选择前k个,和 分别表示历史的和当前的动态局部模板;

(55)每20帧更新一次动态局部模板。