1.一种基于帧序列顺序感知编码的视频动作分割方法,其特征在于,包括以下步骤:步骤一、提取给定视频的特征向量,并对特征向量进行编码,获得给定视频的运动特征;
步骤二、基于给定视频的运动特征,进行编码矩阵学习,获得给定视频的编码矩阵;
步骤三、基于给定视频的编码矩阵,构建亲和度图;
步骤四、基于亲和度图,完成给定视频的动作分割,得到给定视频的动作片段;
所述步骤三中的亲和度图具体为:
其中, 表示m×m维度的亲和度图, m是运动特征向量V的数量, 和 分别为Z的第i和j个元素;
所述步骤四具体为:
步骤i:亲和度图对角线提取
首先,利用离散拉普拉斯算子K对亲和度图进行处理;
然后,提取亲和度图的对角线,并生成一维信号ρ0;
步骤ii:信号平滑处理
利用高斯模糊滤波器对一维信号ρ0进行平滑处理以过滤噪声,从而获得平滑的一维信号向量ρ;
步骤iii:初始帧边界检测
首先,在一维信号向量ρ中,根据两个相邻峰值,确定存在不同动作的初始帧边界;
然后,利用初始帧边界将给定视频划分为B个帧块,得到帧块序列T={T1,T2,…,TB};
步骤iv:冗余帧边界移除
首先,在帧块序列T={T1,T2,…,TB}中,通过比较相邻帧块之间的相似度,重复合并相似度小于阈值ε的帧块,从而移除冗余的帧边界,将给定视频重新划分为N个帧块,获得新的帧块序列E={E1,E2,…,EN};
然后,根据E将给定视频分割为N个动作片段C={c1,…,cN},其中,动作片段ci对应于帧块Ei;
若相邻帧块之间的相似度小于设定阈值,则将这两个帧块合并,重复以上步骤直到相邻帧块之间的相似度均不小于设定阈值。
2.根据权利要求1所述的一种基于帧序列顺序感知编码的视频动作分割方法,其特征在于,所述步骤一具体为:步骤1:提取长度为τ帧的给定视频的iDT特征向量;
步骤2:使用Fisher向量编码算法对iDT特征向量进行编码,获得给定视频的运动特征V, 其中V的第i个元素 表示编码后iDT特征向量的第i个元素,m为运动特征V的元素总数。
3.根据权利要求1所述的一种基于帧序列顺序感知编码的视频动作分割方法,其特征在于,所述步骤二具体为:步骤I:初始编码矩阵计算
首先,定义m个任意样本的训练向量 其中Vk表示给定视频第k帧的iDT特征向量,Fk表示给定视频第k帧的序列顺序信息;
然后,初始化迭代次数j=1,并随机初始化多层神经网络编码层的第一个总结点参数是第一个总结点的权重, 是第一个总结点的偏置;
最后,利用该总结点 和给定激活函数gs(·),计算初始编码矩阵其中V是给定视频的运动特征;
步骤II:学习层参数更新
首先,将第j次迭代的编码矩阵 作为多层神经网络学习层的输入,然后,利用期望输出的视频帧序列顺序信息F以及给定激活函数gt(·)和归一化函数uj(·),计算第j次迭代的学习层的参数 其中 是第j次迭代时学习层的结点权重,是第j次迭代时学习层的结点偏置;
步骤III:误差反馈数据更新
'
利用期望输出的视频帧序列顺序信息F以及第j次迭代学习层的输出F,更新第j次迭代的输出误差ej,再利用输出误差ej更新第j次迭代的误差反馈数据Pj;
步骤IV:编码矩阵更新
首先,令迭代次数j=j+1;
然后,利用步骤III中的第j次迭代的误差反馈数据Pj在编码层增加一个新的总结点最后,利用增加的总结点更新编码矩阵步骤V:迭代并优化
首先,重复步骤II至步骤IVL‑1次直到j=L,从而使总结点参数集合 成为编码层的最佳参数;其中,L是设定总迭代次数;
然后,通过去除第一个总结点参数 随机性的影响,优化获得最终的编码矩阵Z。
4.根据权利要求3所述的一种基于帧序列顺序感知编码的视频动作分割方法,其特征在于,第j次迭代的学习层的参数 的具体计算方法为:其中, 是 的摩尔彭斯Moore‑Penrose广义逆矩阵,且C是一个常数,I为单位矩阵,F为给定视频的帧序列顺序信息,gt(·)和uj(·)分别为激活函数和第j个总结点的归一化函数且uj(F): 为均方根误差。
5.根据权利要求3所述的一种基于帧序列顺序感知编码的视频动作分割方法,其特征在于,第j次迭代的误差反馈数据Pj的具体计算方法为:‑1
其中,第j次迭代的输出误差 uj (·)是uj(·)的反函数。
6.根据权利要求3所述的一种基于帧序列顺序感知编码的视频动作分割方法,其特征在于,最终的编码矩阵Z的具体计算方法为:其中,
7.一种基于帧序列顺序感知编码的视频动作识别方法,其特征在于,该方法具体包括如下步骤:步骤A:基于如权利要求1至6中任一所述的分割方法,将待识别视频分割为N个动作片段;
步骤B:将每个动作片段的特征输入至预训练的分类器中;
步骤C:根据每个动作片段所属类别的概率,分配动作标签。