利索能及
我要发布
收藏
专利号: 2021100599164
申请人: 沈阳航空航天大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于注意力机制和双流多域卷积神经网络的人体跟踪算法,其特征在于,所述双流多域神经卷积网络采用双流输入,多流输出的方式对人体目标进行跟踪;

通过原始视频序列提取人体目标的表观特征,通过帧差序列提取人体目标的运动特征,并根据人体目标的运动幅度在图像中的占比作为自适应融合参数,实现目标表观特征与运动特征自适应融合;

应用所述双流多域神经卷积网络进行目标跟踪时,包括:

1)离线训练:通过对不同视频段内标定的人体目标进行深层次的特征提取,获得网络共享层参数;

2)在线学习:通过在线学习的方式,更新网络中全连接层参数,并结合卷积层融合得到的特征进行边框回归,优化目标跟踪的结果;

具体包括如下步骤:

S1:构造训练数据,对训练数据中的视频进行目标标定,即标定待跟踪的人体目标;

S2:读取标定的人体目标跟踪区域信息以及对应的视频段,确定训练的视频段数目K,并将读取的视频数据进行归一化;

S3:将归一化的视频数据进行帧差处理,对帧差图像进行预处理操作,获得人体目标运动的区域,并根据人体目标运动的区域与目标标定的区域计算目标运动程度,进而得到卷积网络特征融合权重;

S4:构造离线训练时基于注意力机制的双流多域卷积网络模型,根据S2中得到的训练视频段数K,确定双流多域卷积神经网络的独立层分支数,初始化网络模型并确定损失函数与优化器;

S5:将归一化的视频数据和每一个视频序列及对应的帧差序列进行打乱,采用样本生*成器及重叠率函数S(IOU)生成及区分正负样本;

S6:将步骤5中得到的正负样本及其标签送入S4中构造的离线网络模型中进行训练,得到训练后的网络共享层参数;

S7:将得到的网络共享层参数进行保留,构造在线学习时基于注意力机制的双流多域卷积网络模型;

S8:对待跟踪目标进行在线学习,将跟踪目标的首帧送入在线跟踪模型,进行网络训练,更新全连接层参数;

S9:计算边框回归需要的参数,通过网络模型最后一个卷积层的输出进行边框回归,实现目标跟踪边框的优化;

S10:以前一帧中目标所在的位置预测后一帧目标的位置;其中以前一帧目标位置作为中心,以随机高斯分布的方式生成候选区域,通过网络模型输出的跟踪目标相似度分数,确定跟踪目标在下一帧的位置,在下一帧相同位置周围行进目标候选框设置,判断候选区域与跟踪目标的相似度,进而确定跟踪区域;

S11:反复执行S9及S10,通过边框回归实现跟踪目标所在位置的优化,通过相邻两帧的目标的相似度得分准确定位出跟踪目标,不断地循环视频序列,更新fc4‑6层参数,最终实现视频中的人体目标的跟踪;

所述S3中自适应特征融合权重的计算公式为:

δR=1‑δE

其中:δR为目标表观特征权重,δE为运动特征权重,RR为原始图像中目标所在矩形框面积,RR为帧差图像中目标所在矩形框面积。

2.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法,其特征在于,所述S4构建的双流多域卷积神经网络中包括三个卷积层(conv1‑3),三个全连接层(fc4‑6);其中三个卷积层(conv1‑3)部分采用相同的网络结构,在第一卷积层与第二卷积层中间添加空间注意力机制,在第二卷积层与第三卷积层中采用扩张卷积的方式进行卷积,在第三层卷积后添加自适应RoIAlign层,在全连接层(fc4‑6)间添加通道注意力机制。

3.根据权利要求1或2所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法,其特征在于,所述S4中网络中全连接层的最后一层根据S2中读入的视频段数K来确定,即K个视频段,fc6有K个分支,确定损失函数L与优化器adma。

4.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法,其特征在于,所述S4中确定的损失函数包括人体目标本身的损失函数以及目标之间的损失函数两个部分,损失函数的具体计算过程如下:L=Lcls+αLinst

其中:L为损失函数;Lcls为同域中目标与背景的损失函数;Linst为不同域中目标指尖的

2×D

损失函数;α为两个损失函数调节的超参数;σ为softmax分类器激活函数;yi∈{0,1} ,表示区域真值标签的热编码;[yi]cd表示d视频域中的跟踪框与c类跟踪目标的归属度,值为1或0。

5.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法,*其特征在于,所述重叠率函数S(IOU)计算公式为:

其中:RT为真实区域的面积,RG为候选区域面积。

6.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法,其特征在于,所述S6具体为:在训练过程中遍历所有视频序列,更新conv1‑3层,fc4‑5层,以及fc6k层的参数。

7.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法,其特征在于,所述S7中构造在线跟踪网络模型具体为,将步骤6离线训练得到的前五层参数进行保留,并将第六层的K个分支变为一个全连接层,同时在卷积层特征融合后添加一个特征输出分支。

8.根据权利要求1所述的基于注意力机制和双流多域卷积神经网络的人体跟踪算法,其特征在于,所述S9计算边框回归需要的参数是通过卷积层融合后的输出特征(fc_bbox)进行线性回归处理而得到,边框回归分为平移和尺度变换两个部分。