利索能及
我要发布
收藏
专利号: 2024112955962
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于通道分离注意力模块的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤1、将模板图像和搜索图像输入单阶段整体模型,通过单阶段整体模型的主干特征提取模块和特征增强模块得到模板令牌和搜索令牌,再将模板令牌与搜索令牌进行拼接,获得总输入令牌;

对总输入令牌进行通道分离操作得到前半部分输入数据与后半部分输入数据;

步骤2、对前半部分输入数据执行自适应卷积操作得到前半部分结果特征图,对后半部分输入数据执行非对称注意力操作得到后半部分结果特征图;

将前半部分结果特征图与后半部分结果特征图进行拼接后再进行增强,得到结果特征图;

将结果特征图分割为结果特征图的模板图像和结果特征图的搜索图像,并输入至单阶段整体模型,采用迭代的方式重复步骤1至步骤2直到指定次数,得到最后的结果特征图;

步骤3、将最后的结果特征图输入在线评估模块,得到置信度得分,将最后的结果特征图输入头部角点模块得到预测结果,并根据置信度得分确定预测结果是否作为下一阶段跟踪过程中的在线模板;

利用大规模数据集为基础重复步骤1至步骤2,并结合在线预测的损失函数对单阶段整体模型进行预训练,得到训练后的单阶段整体模型,随后利用训练后的单阶段整体模型对目标进行在线跟踪;

在所述步骤2中,对前半部分输入数据执行自适应卷积操作得到前半部分结果特征图,具体操作如下:利用前半部分输入数据依次经过自适应池化操作和卷积函数操作得到中间输出结果,对应过程存在的公式为:;

其中, 表示中间输出结果, 表示通过卷积函数操作, 表示自适应池化操作, 表示前半部分输入数据;

通过中间输出结果得到自适应卷积核,对应过程存在的公式为:;

其中, 表示重塑中间输出结果的临时输出, 表示通过重塑操作, 表示卷积核的高, 表示卷积核的宽, 表示卷积核的组数, 表示卷积核的通道数,表示卷积核的权重比率, 表示第 组卷积核权重比率, 表示计算扩增维度后各维度权重的操作, 表示自适应卷积核, 表示第 个可学习参数;

利用自适应卷积核和总输入令牌得到前半部分结果特征图,对应过程存在的公式为:;

其中, 表示前半部分结果特征图, 表示卷积核的参数权重, 表示卷积被划分的组数, 表示划分的卷积组数, 表示总输入令牌;

对后半部分输入数据执行非对称注意力操作得到后半部分结果特征图,具体操作如下:利用模板令牌和搜索令牌生成所对应的查询、键和值,对应过程存在的公式为:;

其中, 表示模板令牌的查询, 表示模板令牌的键, 表示模板令牌的值, 表示搜索令牌的查询, 表示搜索令牌的键, 表示搜索令牌的值, 表示增强令牌的查询的卷积操作, 表示增强令牌的键的卷积操作, 表示增强令牌的值的卷积操作, 表示对输入数据的通道维度进行降维的操作, 表示总体令牌的查询, 表示总体令牌的键,表示总体令牌的值, 表示模版令牌, 表示搜索令牌;

对利用模板令牌和搜索令牌生成所对应的查询、键和值进行非对称注意力计算,得到后半部分结果特征图,对应过程存在的公式为:;

其中, 表示经过自注意力计算后的模板令牌, 表示经过交叉注意力计算后的搜索令牌, 表示后半部分结果特征图, 表示键的维度, 表示矩阵的转置操作,表示使用 函数计算注意力权重的操作;

将前半部分结果特征图与后半部分结果特征图进行拼接后再进行增强,得到结果特征图,对应过程存在的公式如下:;

其中, 表示结果特征图, 表示通过函数增强的操作。

2.根据权利要求1所述的基于通道分离注意力模块的目标跟踪方法,其特征在于,在所述步骤1中,将模板图像和搜索图像输入单阶段整体模型,通过单阶段整体模型的主干特征提取模块和特征增强模块得到模板令牌和搜索令牌,再将模板令牌与搜索令牌进行拼接,获得总输入令牌,对应过程存在的公式为:;

其中, 表示通过拼接函数操作, 表示初始模板令牌, 均表示在线模板令牌, 表示搜索令牌。

3.根据权利要求2所述的基于通道分离注意力模块的目标跟踪方法,其特征在于,在所述步骤1中,对总输入令牌进行通道分离操作得到前半部分输入数据与后半部分输入数据,对应过程存在的公式为:;

其中, 表示通过分离函数处理, 表示后半部分输入数据。

4.根据权利要求1所述的基于通道分离注意力模块的目标跟踪方法,其特征在于,在所述步骤3中,将最后的结果特征图输入在线评估模块,得到置信度得分,获得置信度得分的具体步骤如下:利用分数令牌生成参与搜索感兴趣区域令牌的查询,对应过程存在的关系式如下:;

其中, 表示学习的分数令牌, 表示对学习的分数令牌进行查询卷积的操作,表示关于搜索感兴趣区域令牌的查询;

利用最后的结果特征图自适应提取重要区域特征,并通过重要区域特征生成对应的键和值,对应过程存在的关系式如下:;

其中, 表示最后的结果特征图, 表示重要区域特征的键, 表示重要区域特征的值, 表示重要区域特征, 表示用于自适应提取重要区域特征的函数;

利用重要区域特征的键和值计算注意力权重,随后将注意力权重依次通过多层感知器和Sigmoid激活函数操作,得到置信度得分,对应过程存在的关系式为:;

其中, 表示注意力输出的注意力权重, 表示用于生成0到1得分的激活函数,表示置信度得分, 表示重要区域特征的键的转置, 表示通过多重感知机函数的操作。

5.根据权利要求4所述的基于通道分离注意力模块的目标跟踪方法,其特征在于,在所述步骤3中,结合在线预测的损失函数对单阶段整体模型进行预训练,得到训练后的单阶段整体模型,随后利用训练后的单阶段整体模型对目标进行在线跟踪,其中在线预测的损失函数表达式为:;

其中, 表示在线预测的损失, 表示真实标签;

在利用训练后的单阶段整体模型生成预测结果并对目标进行在线跟踪的过程中使用到目标物框体的损失函数,以准确的预测出待跟踪目标在图片中的位置,目标物框体的损失函数表达式为:;

其中, 表示真实的目标物物体框的位置, 表示预测的目标物物体框的位置, 表示范围损失, 表示GIOU框损失, 表示 范围损失的权重值, 表示GIOU损失的权重值, 表示目标物体框的损失。

6.基于通道分离注意力模块的目标跟踪系统,其特征在于,所述系统应用如上述权利要求1至5任意一项所述的基于通道分离注意力模块的目标跟踪方法,所述系统包括:数据增强模块,用于:

将模板图像和搜索图像输入单阶段整体模型,通过单阶段整体模型的主干特征提取模块和特征增强模块得到模板令牌和搜索令牌,再将模板令牌与搜索令牌进行拼接,获得总输入令牌;

对总输入令牌进行通道分离操作得到前半部分输入数据与后半部分输入数据;

特征图获取模块,用于:

对前半部分输入数据执行自适应卷积操作得到前半部分结果特征图,对后半部分输入数据执行非对称注意力操作得到后半部分结果特征图;

将前半部分结果特征图与后半部分结果特征图进行拼接后再进行增强,得到结果特征图;

将结果特征图分割为结果特征图的模板图像和结果特征图的搜索图像,并输入至单阶段整体模型,采用迭代的方式重复指定次数,得到最后的结果特征图;

预训练与跟踪模块,用于:

将最后的结果特征图输入在线评估模块,得到置信度得分,将最后的结果特征图输入头部角点模块得到预测结果,并根据置信度得分确定预测结果是否作为下一阶段跟踪过程中的在线模板;

利用大规模数据集为基础,并结合在线预测的损失函数对单阶段整体模型进行预训练,得到训练后的单阶段整体模型,随后利用训练后的单阶段整体模型对目标进行在线跟踪。