1.增强的单阶段解耦的时序动作定位方法,其特征在于由下述步骤组成:
(1)构建增强的单阶段解耦的时序动作定位网络
将基础特征网络的输出与增强的单阶段解耦锚网络的输入连接构成增强的单阶段解耦的时序动作定位网络;
(2)初始化网络
用Kinetics数据集上预训练后的参数初始化膨胀三维卷积网络,用Xavier方法初始化增强的单阶段解耦的时序动作定位网络;
(3)提取训练集特征
1)将THUMOS14数据集中200个视频训练集输入到膨胀三维卷积网络;
2)按设置的窗口大小滑动,用膨胀三维卷积网络提取片段级特征,将片段级特征首尾拼接得到128×1024维度的特征;
(4)训练增强的单阶段解耦的时序动作定位网络
1)使用基础特征网络对提取到维度为128×1024的视频特征降维到维度为32×1024的视频特征;
2)设定变量epoch为0代表迭代次数,将降维后的视频特征输入到增强的单阶段解耦锚网络中进行训练,若变量epoch为40,网络训练完毕,若变量epoch不为40,则回到步骤1),并且令epoch为epoch+1,直到变量epoch为40;
(5)提取测试集特征
1)将THUMOS14数据集中213个视频测试集输入到膨胀三维卷积网络;
2)从膨胀三维卷积网络提取片段级特征,将片段级特征首尾拼接得到128×1024维度的特征;
(6)测试增强的单阶段解耦的时序动作定位网络
将测试集的视频特征输入到步骤(4)训练好的网络中,按下式得到交并比IoU:
式中Rp为预测的动作时间区间,Rgt为真实动作时间区间,对于视频中预测的某个动作片段,如果其预测动作类别和标记动作类别一致,且与真实动作的起始区间交并比为0.5~
1,正确,否则不正确,使用均值平均精度mAP作为时序动作定位的评价指标,得到视频中动作的时间定位信息、相对应的类别以及得分。
2.根据权利要求1所述的增强的单阶段解耦的时序动作定位方法,其特征在于:所述的增强的单阶段解耦锚网络由分类分支(1)、主干分支(2)、提议分支(3)构成。
3.根据权利要求2所述的增强的单阶段解耦的时序动作定位方法,其特征在于:所述的主干分支(2)由主干分支第一层(2‑1)、主干分支第二层(2‑2)、主干分支第三层(2‑3)、主干分支第四层(2‑4),四层多尺度特征图连接组成,将提取到的视频特征输入主干分支第一层(2‑1),主干分支第一层(2‑1)的输出连接主干分支第二层(2‑2)的输入,主干分支第二层(2‑2)的输出连接主干分支第三层(2‑3)的输入,主干分支第三层(2‑3)的输出连接主干分支第四层(2‑4)的输入,主干分支第四层 (2‑4)输出视频中的动作特征信息;
所述的分类分支(1)由分类分支第一层(1‑1)、分类分支第二层(1‑2)、分类分支第三层(1‑3)、分类分支第四层(1‑4),四层结构相同的多尺度特征图组成; 主干分支第四层(2‑4)的输出连接分类分支第四层(1‑4)的输入,分类分支第四层(1‑4)的输出经过反卷积2x与主干分支的第三层(2‑3)融合后连接分类分支第三层(1‑3)的输入,分类分支第三层(1‑3)的输出经过反卷积2x与主干分支的第二层(2‑2)融合后连接分类分支第二层(1‑2)的输入,分类分支第二层(1‑2)的输出经过反卷积2x与主干分支的第1层(2‑1)融合后连接分类分支第一层(1‑1)的输入,分类分支第一层(1‑1)输出视频中动作的类别信息;
所述的提议分支(3)由提议分支第一层(3‑1)、提议分支第二层(3‑2)、提议分支第三层(3‑3)、提议分支第四层(3‑4),四层多尺度特征图组成,主干分支第四层的输出连接提议分支第四层(3‑4)的输入,提议分支第四层(3‑4)的输出经过反卷积2x与主干分支的第三层(2‑3)融合后连接提议分支第三层(3‑3)的输入,提议分支第三层(3‑3)的输出经过反卷积
2x与主干分支的第二层(2‑2)融合后连接提议分支第二层(3‑2)的输入,提议分支第二层(3‑2)的输出经过反卷积2x与主干分支的第1层(2‑1)融合后连接提议分支第一层(3‑1)的输入,提议分支第一层(3‑1)输出视频中动作的时间边界信息;
由下式确定多尺度特征图
式中C为传统的一维时序卷积,D为反卷积操作,S为对应元素相加操作, 为下一层分类分支或提议分支特征, 为主干分支当前层的特征。
4.根据权利要求1所述的增强的单阶段解耦的时序动作定位方法,其特征在于:在提取训练集特征步骤(3)的步骤2)中,所述的窗口大小为1024帧,使用膨胀三维卷积网络对THUMOS 2014数据集进行提取特征。
5.根据权利要求1所述的增强的单阶段解耦的时序动作定位方法,其特征在于:所述的训练基于单阶段解耦的时序动作定位网络步骤(4)的步骤2)中,训练的参数为:批次为48,步长为128,epoch前30次的学习率为0.0001,后10次的学习率为0.00001。