利索能及
我要发布
收藏
专利号: 2022106738860
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的无人机目标跟踪系统,其特征在于:包括如下模块:

特征提取网络,包括一个孪生网络,用于提取目标特征;

图注意力模块GAM,替代传统的互相关,更加有效地将目标信息从模板区域传递到搜索区域;

Encoder模块,包括投影层和剩余块两部分,融合多尺度感受野;

所述Encoder模块,是一个单入多出的结构,包括一个投影层和两个剩余块;投影层首先应用1×1卷积层来减少通道维数,然后通过3×3卷积层来细化语义上下文信息;剩余块包括三个连续的卷积块:第一个1×1卷积进行信道缩减,缩减率为4,然后用一个3×3扩张卷积来扩大接收域,最后用一个1×1卷积来恢复通道数量;在3×3卷积层中依次叠加4个不同扩张速率的残差块,生成具有多个接收域的输出特征,以此来覆盖所有对象的尺度;

Decoder模块,包括锚点建议网络APN和一个多分类回归网络;所述Decoder模块中的锚点建议网络APN:为了在不牺牲跟踪性能的前提下提高跟踪效率,采用减少锚点数量,充分利用锚点的方法;构建锚点建议网络;特征提取网络中φ5(x)和φ5(z)首先与核函数进行卷积,通过图注意力模块GAM传入Encoder,然后APN利用Encoder提取到的特征作为建议锚点;

利用卷积算子,可以提取到更深层次的语义信息,从而可以得到更全面更稳定的锚点;采用Anchor‑free的思想,针对不同的场景,不需要设置过多的超参数,采用自适应锚的方式,自动的选择正负训练样本;其对应损失函数如下:其中L2是L2loss,D(i,j:)为建议锚点响应图;与预先定义的锚点不同,建议锚点的位置和大小可以灵活地适应跟踪过程中场景的变化,特别是在低分辨率、快速运动和遮挡的情况下;自适应锚点的语义信息也有助于进行准确的分类和更加稳定的回归;

Decoder模块中分类分支输出三个分类特征图 第一个分支通

过计算锚点与真实框之间的重叠来对正锚点进行分类,第二个分支将锚点的中心点考虑在内,第三个分支计算最终中心点与真实框之间的距离,以实现精确的分类;综合这三个分支,总体的损失函数为:Lcls=λcls1Lcls1+λcls2Lcls2+λcls3Lcls3    (4),其中Lcls1和Lcls2为交叉熵损失函数,Lcls3代表二元交叉熵损失函数,λcls1 λcls2 λcls3分别是这三个分支的权重系数, 中每个点都包含二维向量,表示每个锚点的质量演化,集中估计对应位置的前景和背景分数,考虑到不同损失函数的优点,采用smooth L1loss和IoUloss进行回归,因此回归的损失计算公式为:其中α为超参数,反映了对正负样本的倾向性,ious表示所提出的锚点与真实边界框之间的IoU得分;

采用自适应锚点,减少了超参数,降低了计算量;采用多分类回归分支,能够精确的实现分类,提高该系统的鲁棒性。

2.根据权利要求1所述的一种基于深度学习的无人机目标跟踪系统,其特征在于:所述特征提取网络,有两个共享结构的分支,即模板分支和搜索分支。

3.根据权利要求1所述的一种基于深度学习的无人机目标跟踪系统,其特征在于:所述图注意力模块GAM,给定模板帧图像T和搜索帧图像S,通过特征提取网络获得相对应的特征图Ft和Fs,将特征图的每个1×1×c网格视为一个节点,其中c表示特征通道的数量;设Vt为包含Ft所有节点的节点集,Vs为包含Fs所有节点的节点集;用一个完全二部图G=(V,E)来建模目标区域和搜索区域之间的部分级连关系,其中V=Vs∪Vt,G的子图分别是Gt=(Vt,φ)、Gs=(Vs,φ);

令eij表示节点i∈Vs和j∈Vt之间的相关分数:

其中 是节点i和节点j的特征向量;最后将聚合特征与节点特征 结

合起来得到更强的特征:

其中||表示向量拼接,Wv是线性变换矩阵,所有 并行计算,为后续任务生成响应图。