1.一种基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤一、在双分支目标跟踪框架下,基于深度卷积神经网络与自适应时间特征表示模块,构建得到特征提取网络;其中,所述自适应时间特征表示模块包括局部分支以及全局分支,所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征;
步骤二、在目标模板分支与搜索区域分支中,通过所述特征提取网络中的卷积层提取得到目标浅层表观特征,通过所述局部分支学习目标局部位置重要性权重,以生成适应性位置敏感权重图用于得到突出目标位置特征;通过所述全局分支通过学习全局重要性信息,利用连续帧中的目标信息相关性,以获得全局关联信息表示;
步骤三、在目标模板分支中,将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块;其中,所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块,所述序列化通道信息增强模块用于突出不同通道的信息权重,所述序列化空间信息增强模块用于增强连续帧的目标位置信息;
步骤四、利用大规模数据集,对所述特征提取网络和所述序列化时空特征模块进行训练,并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整;
步骤五、目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息,将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中,对模型预测器进行迭代优化以最终得到卷积核;
步骤六、搜索区域分支利用特征提取网络进行候选块特征提取,以得到相应的候选块特征,将所述卷积核与候选块特征进行特征融合操作以得到多个得分图,其中每个得分图对应有一相似度得分;
步骤七、确认相似度得分的最大值,并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标;
在所述步骤二中,在所述局部分支中,存在如下步骤:
使用全局空间平均池化对第一层卷积层卷积后的特征 进行压缩以得到局部位置重要性特征图 ;
对所述局部位置重要性特征图 进行第一次卷积以得到第一卷积特征 ;
将所述第一卷积特征 进行二次卷积,利用 函数进行激活,并经过一个维度变换函数 后得到适应性位置敏感权重图 ;
将第一层卷积层卷积后的特征 与适应性位置敏感权重图 进行逐元素相乘操作以得到突出目标位置特征 ;
其中, , 表示实数矩阵, 表示特征的通道数量最大值, 表示连续的视频帧数最大值, 表示特征图的高度最大值, 表示特征图的宽度最大值,表示特征的通道数量的取值,表示连续的视频帧数的取值, 表示特征图的高度取值,表示特征图的宽度取值。
2.根据权利要求1所述的基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,局部位置重要性特征图 的计算公式表示为:第一卷积特征 的计算公式表示为:
其中, 表示非线性操作, 表示一次卷积操作。
3.根据权利要求2所述的基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,适应性位置敏感权重图 的计算公式表示为:其中, 表示维度变换函数操作, 表示 函数,
;
所述突出目标位置特征 的计算公式表示为:
其中, 表示逐元素相乘操作。
4.根据权利要求3所述的基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,全局分支由全连接层经RELU操作与softmax操作组成,在所述全局分支中,存在如下步骤:将所述局部分支中得到的局部位置重要性特征图 ,经第一个全连接层后,利用RELU函数对特征进行激活以得到激活全连接层特征之后的结果特征;
将所述激活全连接层特征之后的结果特征,再经过全局分支中的第二个全连接层,再进行softmax操作以得到全局上下文信息的自适应卷积核;
基于所述突出目标位置特征 与所述全局上下文信息的自适应卷积核,计算得到自适应时间特征表示。
5.根据权利要求4所述的基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,所述激活全连接层特征之后的结果特征的计算公式表示为:其中, 表示激活全连接层特征之后的结果特征, 表示全局分支中的RELU函数,表示全连接操作, 表示第一全连接层权重系数;
全局上下文信息的自适应卷积核的计算公式表示为:
其中, 表示全局上下文信息的自适应卷积核, 表示归一化处理, 表示第二全连接层权重系数;
自适应时间特征表示的计算公式表示为:
其中, 为自适应时间特征表示, 表示特征矩阵相乘操作。
6.根据权利要求5所述的基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,在所述步骤三中,利用序列化通道信息增强模块突出不同通道的信息权重的具体操作为:其中, 表示经全局平均池化操作之后得到的第一目标特征, 表示全局平均池化操作, 表示当前视频帧的目标特征, 表示当前视频帧的前一帧的目标特征;
所述经全局平均池化操作之后得到的第一目标特征 ,再经过两层全连接操作,利用激活函数对特征进行激活得到第一中间特征 ,具体表示为:对当前视频帧与当前视频帧的前两帧的目标特征进行全局平均池化操作,具体表示为:其中, 表示经全局平均池化操作之后得到的第二目标特征, 表示当前视频帧的前两帧的目标特征;
将经全局平均池化操作之后得到的第二目标特征 ,经过两层全连接操作,利用激活函数对特征进行激活得到第二中间特征 ,具体表示为:其中, 表示当前视频帧和当前视频帧的前两帧进行第一层全连接操作时的权重系数, 表示当前视频帧和当前视频帧的前两帧进行第二层全连接操作时的权重系数;
将第一中间特征 与第二中间特征 进行相加操作以得到特征 ,具体表示为:其中, 表示序列化通道信息增强后的目标特征。
7.根据权利要求6所述的基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,在所述步骤三中,利用序列化空间信息增强模块增强连续帧的目标位置信息的具体操作为:当前视频帧的前一帧和当前视频帧的前两帧分别进行由卷积操作执行的线性变化,再利用 激活函数操作对特征对进行激活,具体表示为:其中, 表示经 激活函数激活之后得到的第三中间特征, 表示当前视频帧的前一帧进行的卷积操作, 表示当前视频帧的前两帧进行的卷积操作;
将经 激活函数激活之后得到的第三中间特征 ,与当前视频帧经过卷积线性变换之后的特征进行矩阵相乘操作,再将特征进行批量归一化得到第四中间特征 ,具体表示为:其中, 表示批量归一化, 表示当前视频帧的卷积操作;
将第四中间特征 与当前视频帧特征进行相加操作,以得到特征 ,具体表示为:其中, 表示经序列化空间信息增强模块增强后得到的目标特征。
8.根据权利要求7所述的基于自适应时间与序列化时空特征的目标跟踪方法,其特征在于,经序列化时空特征模块增强后的目标特征表示为:其中, 表示经序列化时空特征模块增强后的目标特征, 表示特征矩阵加法。
9.一种基于自适应时间与序列化时空特征的目标跟踪系统,其特征在于,所述系统应用如上述权利要求1至8任意一项所述的基于自适应时间与序列化时空特征的目标跟踪方法,所述系统包括:网络构建模块,用于:
在双分支目标跟踪框架下,基于深度卷积神经网络与自适应时间特征表示模块,构建得到特征提取网络;其中,所述自适应时间特征表示模块包括局部分支以及全局分支,所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征;
特征提取模块,用于:
在目标模板分支与搜索区域分支中,通过所述特征提取网络中的卷积层提取得到目标浅层表观特征,通过所述局部分支学习目标局部位置重要性权重,以生成适应性位置敏感权重图用于得到突出目标位置特征;通过所述全局分支通过学习全局重要性信息,利用连续帧中的目标信息相关性,以获得全局关联信息表示;
特征引入模块,用于:
在目标模板分支中,将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块;其中,所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块,所述序列化通道信息增强模块用于突出不同通道的信息权重,所述序列化空间信息增强模块用于增强连续帧的目标位置信息;
特征训练模块,用于:
利用大规模数据集,对所述特征提取网络和所述序列化时空特征模块进行训练,并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整;
预测迭代模块,用于:
目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息,将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中,对模型预测器进行迭代优化以最终得到卷积核;
特征融合模块,用于:
搜索区域分支利用特征提取网络进行候选块特征提取,以得到相应的候选块特征,将所述卷积核与候选块特征进行特征融合操作以得到多个得分图,其中每个得分图对应有一相似度得分;
目标跟踪模块,用于:
确认相似度得分的最大值,并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。