1.一种基于长程空间感知与通道增强的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤1、在孪生双分支网络结构目标跟踪框架下,基于长程空间感知构建得到特征提取网络,基于通道注意力构建特征融合网络;
步骤2、利用大规模数据集对特征提取网络和特征融合网络进行训练,得到训练后的特征提取网络和训练后的特征融合网络;
步骤3、利用训练后的特征提取网络分别对模板目标图像和搜索区域图像进行特征提取,得到包含目标图像信息的模板特征和搜索特征;
步骤4、将模板特征送入训练后的特征融合网络中进行通道注意力计算,以强化重要特征的注意力,弱化不重要特征的注意力,得到深层目标图像特征;将模板目标图像进行混合卷积操作,得到浅层目标图像特征,将深层目标图像特征与浅层目标图像特征进行融合,以利用通道映射之间的相互依赖来增强目标图像特征的语义表示,得到卷积权重;
步骤5、将模板特征、卷积权重与模板目标图像引入到模型预测器中进行预测,得到预测结果,将预测结果与给定的标签进行比较学习,经过迭代优化后,得到最终的卷积权重,并利用最终的卷积权重得到最终的预测结果;
步骤6、将最终的预测结果与搜索特征进行融合,得到得分图;
步骤7、将得分图中的最高分数区域作为目标的候选区域,并将其位置作为判定依据得到跟踪目标;
在所述步骤3中,利用训练后的特征提取网络分别对模板目标图像和搜索区域图像进行特征提取的方法具体包括如下步骤:采用递归的设计结构,利用线性投影操作对输入特征进行通道映射为两路通道分支,得到两组不同的投影特征;
计算不同阶段的门控特征,利用递归的方式对两组不同的投影特征进行迭代交互,逐阶段增强图像特征的长程空间交互能力,以获得丰富的长程空间信息,得到包含目标图像信息的特征;
将模板目标图像和搜索区域图像分别作为两个不同的输入特征依次重复上述操作,得到包含目标图像信息的模板特征和搜索特征;
采用递归的设计结构,利用线性投影操作对输入特征进行通道映射为两路通道分支,得到两组不同的投影特征的计算过程存在如下关系式:;
其中, 表示所输入的特征, , 表示实数矩阵, 表示特征的通道数最大值, 表示特征图的高度最大值, 表示特征图的宽度最大值, 表示线性投影层,表示进行递归操作的通道特征, 表示进行门控卷积的 个通道的特征,, , , 表示特征线性变换的
卷积, 表示 特征映射中的通道数, 表示执行递归操作的次数,表示 到 特征映射中的通道数;
计算不同阶段的门控特征,利用递归的方式对两组不同的投影特征进行迭代交互过程存在如下关系式:;
;
其中, 表示作为保证训练稳定性的比例因子, 表示一组深度卷积层, 表示迭代完成后得到的最后一阶的特征, 表示递归操作中实现通道输出映射的线性投影层,表示通道输出映射的包含目标图像信息的特征, 表示进行门控卷积的第 阶通道的特征。
2.根据权利要求1所述的基于长程空间感知与通道增强的目标跟踪方法,其特征在于,在所述步骤4中,将模板特征送入训练后的特征融合网络中进行通道注意力计算,以强化重要特征的注意力,弱化不重要特征的注意力,得到深层目标图像特征的方法具体包括如下步骤:将模板特征通过混合池化层映射为两路特征;
将两路特征分别通过平均池化层和最大池化层,利用最大池化层用于保留特征图中最显著的特征,并通过平均池化层提取特征图的平均响应,以获得更全面的局部特征,将局部特征引入权重共享的多层感知器中进行整合,获得全局特征表示,全局特征表示计算过程存在如下关系式;
;
其中, 表示模板特征的映射特征, 和 分别表示平均池化层和最大池化层, 表示权重共享的多层感知器, 表示全局特征表示;
将全局特征表示经过激活函数,以提高特征的非线性表征能力,并与模板特征做逐元素相乘操作,得到深层目标图像特征,深层目标图像特征计算过程存在如下关系式:;
其中, 表示 激活函数, 表示深层目标图像特征。
3.根据权利要求2所述的基于长程空间感知与通道增强的目标跟踪方法,其特征在于,在所述步骤4中,将模板目标图像进行混合卷积操作,得到浅层目标图像特征的方法具体包括如下步骤:通过混合卷积操作对模板目标图像进行深度卷积与归一化操作,得到卷积特征图,卷积特征图计算过程存在如下关系式:;
其中, 表示卷积核为3×3的深度卷积运算, 表示模板目标图像, 表示层归一化, 表示1×1卷积运算, 表示卷积特征图;
将卷积特征图输入到激活函数中,得到浅层目标图像特征,浅层目标图像特征计算过程存在如下关系式:;
其中, 表示激活函数, 表示浅层目标图像特征。
4.根据权利要求3所述的基于长程空间感知与通道增强的目标跟踪方法,其特征在于,在所述步骤4中,将深层目标图像特征与浅层目标图像特征进行融合的计算过程存在如下关系式;
;
其中, 表示级联操作, 表示3×3的卷积运算, 表示卷积权重。
5.一种基于长程空间感知与通道增强的目标跟踪系统,其特征在于,所述系统应用如权利要求1至4任意一项所述的基于长程空间感知与通道增强的目标跟踪方法,所述系统包括:网络构建模块,用于:
在孪生双分支网络结构目标跟踪框架下,基于长程空间感知构建得到特征提取网络,基于通道注意力构建特征融合网络;
特征训练模块,用于:
利用大规模数据集对特征提取网络和特征融合网络进行训练,得到训练后的特征提取网络和训练后的特征融合网络;
特征提取模块,用于:
利用训练后的特征提取网络分别对模板目标图像和搜索区域图像进行特征提取,得到包含目标图像信息的模板特征和搜索特征;
特征增强模块,用于:
将模板特征送入训练后的特征融合网络中进行通道注意力计算,以强化重要特征的注意力,弱化不重要特征的注意力,得到深层目标图像特征;将模板目标图像进行混合卷积操作,得到浅层目标图像特征,将深层目标图像特征与浅层目标图像特征进行融合,以利用通道映射之间的相互依赖来增强目标图像特征的语义表示,得到卷积权重;
特征融合模块,用于:
将模板特征、卷积权重与模板目标图像引入到模型预测器中进行预测,得到预测结果,将预测结果与给定的标签进行比较学习,经过迭代优化后,得到最终的卷积权重,并利用最终的卷积权重得到最终的预测结果;
将最终的预测结果与搜索特征进行融合,得到得分图;
目标跟踪模块,用于:
将得分图中的最高分数区域作为目标的候选区域,并将其位置作为判定依据得到跟踪目标。