1.基于时间自适应双向桥接的RGB‑D目标跟踪方法,其特征在于,包括以下步骤:
步骤一、使用视觉Transformer ViT将RGB模态和深度模态图像切分成图像块,并将图像块嵌入到潜在空间中,并进行特征提取;
步骤二、通过时间自适应双向桥接模块进行RGB模态和深度模态之间的特征融合;所述的时间自适应双向桥接模块包括预融合模块、交叉注意力模块和时序自适应分支;具体步骤如下:步骤2.1、预融合模块通过线性层将RGB和深度两个模态的初始特征进行预融合,生成模板融合特征;
步骤2.2、交叉注意力模块采用交叉注意力机制,对RGB模态和深度模态进行特征匹配和融合,获得融合特征;
步骤2.3、时序自适应分支,根据目标在时间维度上的变化,动态更新RGB模态的在线模板图像特征和深度模态的在线模板图像特征,并对RGB模态的初始模板图像特征、深度模态的初始模板图像特征进行动态调整和优化,以捕捉目标的外观变化;
步骤三:预测头设计,通过预测头输出目标的分类结果和边界框位置,利用融合特征进行分类和边界框回归,以确定目标在当前帧中的位置;预测头通过交叉熵损失函数、L1损失函数和GIoU损失函数进行模型训练,优化分类结果和边界框回归结果。
2.根据权利要求1所述的基于时间自适应双向桥接的RGB‑D目标跟踪方法,其特征在于,步骤一的具体步骤为:步骤1.1、输入双模态数据:将RGB模态和深度模态的搜索区域图像、初始模板图像和在线模板图像输入到视觉Transformer ViT中;视觉Transformer ViT将每个图像切分成P×P个图像块,并通过线性层将图像块嵌入到潜在空间中,形成初始特征向量;
步骤1.2、特征提取:使用共享参数的Transformer块对初始特征向量进行特征提取,得到初始图像特征;初始特征包括RGB模态的搜索区域图像特征、RGB模态的初始模板图像特征、RGB模态的在线模板图像特征、深度模态的搜索区域图像特征、深度模态的初始模板图像特征和深度模态的在线模板图像特征。
3.根据权利要求2所述的基于时间自适应双向桥接的RGB‑D目标跟踪方法,其特征在于,步骤2.2具体为:首先将RGB模态的模板区域图像特征作为查询,将RGB模态与深度模态的模板融合特征作为键和值,进行交叉注意力计算,获取进一步融合特征;然后将深度模态的搜索区域图像特征作为查询,将RGB模态与深度模态的在线模板图像特征作为键和值,进行交叉注意力计算,进一步增强两个模态的特征交互;再互换各自的查询与键和值,进行对称的模态特征交互。
4.根据权利要求3所述的基于时间自适应双向桥接的RGB‑D目标跟踪方法,其特征在于,在Transformer块的第4层、第7层和第10层分别插入时间自适应双向桥接模块。
5.根据权利要求4所述的基于时间自适应双向桥接的RGB‑D目标跟踪方法,其特征在于,预测头设计包括以下内容:融合特征通过三个并行的预测子网络提取任务特定的特征表示,分别用于生成分类得分图、边界框大小和偏移量。
6.根据权利要求5所述的基于时间自适应双向桥接的RGB‑D目标跟踪方法,其特征在于,步骤2.3中的时序自适应分支,通过动态阈值选择更新RGB模态的在线模板图像特征和深度模态的在线模板图像特征,具体步骤为:(1)设定一个动态阈值,根据当前帧的分类得分和边界框回归结果,判断是否需要更新RGB模态的在线模板图像特征和深度模态的在线模板图像特征;
(2)如果当前帧的分类得分超过设定阈值,则将当前帧的目标特征作为新的RGB模态的在线模板图像特征和深度模态的在线模板图像特征。
7.一种基于时间自适应双向桥接的RGB‑D目标跟踪系统,其特征在于,包括:
视觉Transformer ViT,用于将RGB模态和深度模态图像切分成图像块,并将图像块嵌入到潜在空间中,并进行特征提取,得到初始特征;初始特征包括RGB模态的搜索区域图像特征、RGB模态的初始模板图像特征、RGB模态的在线模板图像特征、深度模态的搜索区域图像特征、深度模态的初始模板图像特征和深度模态的在线模板图像特征;
时间自适应双向桥接模块,用于进行RGB模态和深度模态之间的特征融合;所述的时间自适应双向桥接模块包括预融合模块、交叉注意力模块和时序自适应分支;
预融合模块用于通过线性层将RGB和深度两个模态的初始特征进行预融合,生成模板融合特征;交叉注意力模块采用交叉注意力机制,对RGB模态和深度模态进行特征匹配和融合,获得融合特征;时序自适应分支根据目标在时间维度上的变化,动态更新RGB模态的在线模板图像特征和深度模态的在线模板图像特征,并对RGB模态的初始模板图像特征、深度模态的初始模板图像特征进行动态调整和优化,以捕捉目标的外观变化;
预测头,用于输出目标的分类结果和边界框位置,利用融合特征进行分类和边界框回归,以确定目标在当前帧中的位置;预测头通过交叉熵损失函数、L1损失函数和GIoU损失函数进行模型训练,优化分类结果和边界框回归结果。
8.根据权利要求7所述的基于时间自适应双向桥接的RGB‑D目标跟踪系统,其特征在于,将RGB模态和深度模态的搜索区域图像、初始模板图像和在线模板图像输入到视觉Transformer ViT中;视觉Transformer ViT将每个图像切分成P×P个图像块,并通过线性层将图像块嵌入到潜在空间中,形成初始特征向量;使用共享参数的Transformer块对初始特征向量进行特征提取,得到初始图像特征。
9.根据权利要求8所述的基于时间自适应双向桥接的RGB‑D目标跟踪系统,其特征在于,时序自适应分支通过动态阈值选择更新RGB模态的在线模板图像特征和深度模态的在线模板图像特征,具体步骤为:(1)设定一个动态阈值,根据当前帧的分类得分和边界框回归结果,判断是否需要更新RGB模态的在线模板图像特征和深度模态的在线模板图像特征;
(2)如果当前帧的分类得分超过设定阈值,则将当前帧的目标特征作为新的RGB模态的在线模板图像特征和深度模态的在线模板图像特征。
10.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序数据,所述程序数据在被计算机执行时,用以实现权利要求1 6任一所述的基于时间自适应双向桥接~的RGB‑D目标跟踪方法。