1.具有再注意机制的卷积注意力弱监督时序动作定位方法，其特征在于：

(1)、数据预处理：对视频数据抽取图像帧并使用TVL‑1算法抽取光流；对于抽取好的图像和光流，使用基于Kinetics数据集预训练的I3D模型分别提取图像和光流对应的图像特征和光流特征，然后将这两个特征在特征维度上进行拼接，以整合输入视频的外观特征和运动特征，将视频特征缩放到固定的时间长度，并通过线性插值获得完整的视频数据特征；

(2)、搭建具有再注意机制的卷积注意力网络模型：

首先通过卷积对视频数据特征进行下采样，然后根据注意力机制自适应地学习节点之间的重要性；采用多头的形式对节点进行注意力权重的计算，最后再融合得到所有节点的输出权重；再注意模块对多头自注意力的输出权重根据累积重要性进行选择，使用选择得到的高重要性权重对多头自注意力的输出特征进行再注意，通过设定不同的阈值能够选择得到不同尺度的累积重要性；

通过多个阶段在不同特征维度挖掘特征，通过卷积将各阶段的特征投影到相同维度并进行拼接，最后输入卷积分类器得到类激活序列，该序列指示了每个类别在视频中每一帧的激活概率，通过top‑k聚合策略得到动作分类分数；同时增加3个辅助分支：通过动作抑制分支、背景抑制分支和上下文分支分别学习背景、动作和动作上下文，每个分支包含两个卷积模块用于调整特征使其适应后续训练，通过卷积分类器得到三个类激活序列，通过top‑k聚合策略得到各自的动作分类分数；两个抑制分支在最开始分别使用一个过滤器抑制动作和背景；

(3)、模型训练：根据步骤(1)(2)得到的动作分类分数，利用交叉熵损失，通过视频级类别标签对动作分类分数进行约束，通过背景熵损失使背景片段的动作概率熵最大化，通过引导损失在视频片段水平上指导加权的类激活序列抑制背景片，利用反向传播算法BP对模型参数进行训练；

(4)、生成定位检测结果：对于背景抑制分支得到的类激活序列与动作分类分数，在C个候选类别中，丢弃视频级动作分类分数低于设定阈值的类别；选取置信度大于设定阈值的类别的类激活序列，将动作分类分数高于阈值的连续帧作为预测动作实例，获得该预测动作实例的起始时间和结束时间；然后，通过外部‑内部对比策略确定该预测动作实例的置信度得分；

步骤(2)中搭建具有再注意机制的卷积注意力网络模型，具体实现如下：

2‑1.卷积注意力:采用多头自注意力机制让多个头各自自适应的学习不同的注意力权重，具体来说，对于输入X，对于第1个阶段的第j个注意力块，时序卷积将输入X的特征维度D投影到D0，得到X0；之后的阶段将D0不断扩展；第一个阶段X0经过全局关系块中的多头注意Q层，多头注意层由H个注意力头组成，对于每个头i∈{1，...，H}，输入Xj投射到Qij＝WijXj，K V Q KKij＝WijXj和Vij＝Wij Xj，其中Wij、Wij 、 代表线性层的权重，Dh＝D0/H代表每个头的特征维度；因此，头i的自注意力被计算为：其中， 为输出权重， 然后将不同注意力头的输出与一个额外的线

性层混合得到全局模块的输出特征

O

其中Wj表示线性层的权值，Xj为线性层的偏置项，多头注意力层的输出特征大小与输入特征大小相同；

2‑2.再注意机制:将多头注意力的输出特征Mj和输出权重Wj输入再注意模块，再注意模块对多头自注意力的输出权重根据累积重要性进行选择，使用选择得到的高重要性权重对多头自注意力的输出特征进行再注意；

利用累积分布采样方法构建自适应阈值，具体操作为：

对初步注意力结果W归一化并按从大到小排序得到排序权重S，并构建累积重要性I，H×T×Tj＝0,...,T，W∈R ，T表示视频时序长度；针对累积重要性确定固定阈值τ'，则针对初步注意力结果W生成自适应阈值，设置标记参数b＝[I<τ']表示所选帧是否存在的二进制掩码；

然后使用标记参数b进行再注意，先根据标记参数b生成选择矩阵B用于再注意，选择矩阵B是一个二进制矩阵，其中每一项为Bu,v，意味着第v帧将用于第u帧的更新；通过选择矩阵B将注意力块中的自注意模块替换为掩码自注意模块，得到掩码注意力，如下所示:其中，A乘上多头自注意力的输出特征M得到再注意输出score，score经过全连接层和掩码softmax层，产生重要性权值λ；根据重要性权值λ从修剪后的输出权重W中检索权重值得到再注意向量，再注意向量定义为:T

W'＝W⊙(J‑b)+λr         (6)

其中，bk表示第k帧的标记参数；J是一个其中每个元素都等于1的矩阵；得到再注意向量这里将X0输入两个具有不同τ'的再注意模块得到不同尺度的再注意向量W'1和W'2，然后进行平均得到最终再注意分数，再注意分数与多头自注意力的输出特征M相乘，再加上X0作为残差得到再注意模块的输出；

其他阶段的过程与此类似，区别在于输入特征的特征维数不同，将所有阶段挖掘到的信息输入混合器进行混合，形成统一的视频表示，最后输入卷积分类器；

2‑3.辅助分支：对于上下文分支，给定输入特征X，首先输入Base Module，包含两个frames‑specific卷积；具体来说，首先通过一个卷积生成嵌入，对于嵌入的相邻帧通过计算余弦相似度，生成一个相似度掩码，将相似度掩码加入卷积计算过程，得到frames‑specific卷积；输入特征X经过Base Module之后，结果输入卷积分类器，得到类激活序列S，其中卷积分类器是一个时序卷积；然后利用top‑k聚合策略来计算视频级动作分类分数；

动作抑制分支和背景抑制分支与上下文分支类似，不过在前端有一个过滤模块，对动作抑制分支来说，该过滤模块抑制动作分数，从而显式地建模背景，剩下的过程与上下文分支和背景抑制分支类似，只是输入的特征图不同，除了过滤器之外，其他模块与其他分支共享参数；在计算损失时，动作抑制分支的标签y的前C个类设置为0，最后一个类也就是背景类的标签设置为1；上下文分支的标签y的C+1个类都设置为1；背景抑制分支的标签y的前C个类设置为1，最后一个类设置为0。

2.根据权利要求1所述的一种具有再注意卷积注意力的弱监督时序动作定位方法，其特征在于步骤(1)数据预处理，具体实现如下：对抽取好的图像和光流进行特征提取，使用基于Kinetics数据集预训练的I3D模型分别提取图像和光流对应的图像特征和光流特征，将图像特征和光流特征在特征维度上进行堆叠，并获得初始时空特征；由于未修剪视频具有不同的时序长度，所以需要缩放操作，过长的视频对超出长度的部分进行截断，过短的视频进行线性插值，最终得到固定时序长度的特征。

3.根据权利要求1所述的一种具有再注意卷积注意力的弱监督时序动作定位方法，其特征是步骤(3)所述的模型训练具体如下：

3‑1.首先根据输入视频的标签实例生成对应的训练标签；对于一个视频，其对应的标签为一个包含C个元素的二进制向量，对应每个类别是否存在，拼接上一个二进制值表示背景类是否存在；从而得到包含C+1个类的标签；如对于动作抑制分支，标签为一个具有C个0元素的向量拼接上1，表示只存在背景类，标签与对应分支得到的动作分类分数计算一个交叉熵损失；如对于上下文分支，得到视频级动作分类分数 和分类标签y，通过交叉熵损失计算出视频级分类损失Lcls；

其中， 为softmax归一化后的动作分类分数；背景抑制分支和动作抑制分

支分别得到分类损失Lfg和Lbg；具有再注意机制的卷积注意力分支，即全局局部分支得到分类损失Lgl；

3‑2.注意力引导损失：为了使动作上下文分支在片段级区分动作示例片段和那些模糊的动作上下文帧，除了视频级交叉熵分类损失Lcls外，还引入了注意力引导损失；将动作示例注意力序列设置为每个视频片段的二进制指标，并使用它在视频片段水平上指导加权的CAS抑制动作上下文和背景片段，具体来说，注意力引导损失Lgui为：其中， 是应用softmax函数得到的预测片段级动作概率分布， 表示片段s(t)属于最后一个类别，也就是背景类的概率，wfg(t)为背景抑制模块过滤器的输出权重；

背景熵损失，通过背景熵损失使背景片段的动作概率熵最大化，背景片段被鼓励对动作类具有均匀的概率分布，损失计算如下：其中， 是第c类背景片段的平均动作概率，pc(sn,j)是sn,j的c类的

softmax分数；

整体损失Ltotal包括四个分支的分类损失、引导损失和背景熵损失；

Ltotal＝Lcls+Lfg+Lbg+αLgl+βLgui+ηLbe  (10)

其中，α、β、η是调整系数。