1.一种面向人体骨架的羽毛球运动预测方法,其特征在于,所述方法包括以下步骤:步骤1)从深度相机获取的羽毛球运动下人体骨架序列中选取每个时刻下人体骨架的
21个关节点在三维空间下的坐标数据作为输入的骨架位置序列数据;
步骤2)基于骨架位置序列数据构建自适应运动关联图邻接矩阵;邻接矩阵表示为Amc,第i个关节点在所有观测帧中的位置特征向量表示为Xi,运动关联图的邻接矩阵的计算过程为:Vi=fv(Xi) (1)
Ei,j=fe([Vi,Vj]) (2)
Gi=fg(Ji) (4)
Hi=fh(Ji) (5)
其中,fv(·)表示对单个关节点三维位置特征的深度映射运算,fe(·)表示对两个不同关节点特征间联系的聚合运算,fj(·)表示对关节点特征的更新操作,fg(·)与fh(·)表示两种不同的关节点特征的深度映射运算,exp(·)表示以自然数e为底的指数函数,[·,·]表示向量拼接操作,Vi表示第i个关节点三维位置特征的深度映射表达,Ei,j表示聚合了第i个关节点和第j个关节点之间的相对特征,Ji表示聚合了第i个关节点与其他所有关节点间相对特征后更新的特征表达,Gi与Hi分别表示两种不同的关节点特征的深度映射表达,Hj与Hk分别表示特征向量Hj与Hk的转置,N表示关节点个数;
邻接矩阵Amc中的元素均被归一化在0到1之间,矩阵中第i行第j列的元素值代表第j个关节点相对于第i个关节点的运动关联性强度系数;Amc进行自适应,在模型训练过程中会被自动调整;
步骤3)对骨架位置序列数据进行差分运算,获取骨架速度序列数据与骨架加速度序列数据特征;对骨架位置序列数据进行差分运算的方法具体表现为:对于输入的骨架位置序列数据,将相邻两帧位置数据做差分运算,获得骨架速度序列数据;再将相邻两帧速度数据做差分运算,获得骨架加速度序列数据,具体计算过程表达如下:α+1 (t) α (t) α (t‑1)
Δ X =Δ X ‑Δ X (7)
α 0 (t) 1 (t) 2 (t)
其中,Δ 代表α阶的差分运算符,Δ X 、Δ X 和Δ X 分别表示t时刻骨架点的位置、速度和加速度特征;
步骤4)将三组骨架序列数据分别送入双流图时空卷积神经网络中以获取深层次的运动时空特征,并将三个分支输出的高维运动特征进行融合;
步骤5)将步骤4中获取的运动特征信息与骨架位置序列的最后一帧数据输入到运动预测网络中,得到预测的人体骨架位置序列,完成预测过程。
2.如权利要求1所述的一种面向人体骨架的羽毛球运动预测方法,其特征在于:在所述的步骤1)中,21个关节点分别指一个下颌关节,一个颈椎关节,两个肩关节,两个肘关节,两个腕关节,两个掌指关节,一个胸椎关节,一个腰椎关节,一个骶髂关节,两个髋关节,两个膝关节,两个踝关节,两个跖趾关节。
3.如权利要求1所述的一种面向人体骨架的羽毛球运动预测方法,其特征在于:在所述的步骤4)中的双流图时空卷积运算模块包括:对于单帧骨架特征的双流图卷积TS‑GCN、对t相邻多帧的时间卷积以及残差模块,t时刻的骨架特征表示为X(),TS‑GCN的运算过程表示为:其中,Amc表示运动关联图邻接矩阵,Asc表示骨架关节点物理结构上连接的归一化邻接矩阵,Wmc与Wsc分别表示基于运动关联图的图卷积操作与基于骨架连接图的图卷积操作时所用的权重值, 与 分别表示运动关联图卷积操作后与骨架连接图卷积操作后更新的骨架特征表达,λmc表示骨架关节点之间的总体运动关联强度参数, 表示TS‑GCN操作后的骨架特征表达,ReLU(·)表示非线性激活函数,其表达式为:ReLU(x)=max(x,0) (11)其中,max(·)表示取输入值的最大值。
4.如权利要求1所述的一种面向人体骨架的羽毛球运动预测方法,其特征在于:在所述的步骤4)中的将位置、速度、加速度三个序列数据分别输入双流图时空卷积模块得到的高维运动特征进行融合的具体操作包括: 和 分别表示位置,速度,加速度序列数据输入双流图时空卷积模块得到的单帧特征表达,融合的计算过程为:其中,Tpos,Tvel和Tacc分别表示位置,速度,加速度三个双流图时空卷积模块分支得到的特征表达序列帧数,Ypos,Yvel和Yacc分别表示三个分支得到的序列特征在时间维度上平均池化的聚合结果,fp(·)表示对三个特征的融合运算,Y表示融合三个分支输出的特征表达,[·,·,·]表示向量拼接操作。
5.如权利要求4所述的一种面向人体骨架的羽毛球运动预测方法,其特征在于:在所述的步骤5)中的运动预测网络包括:门控循环单元GRU与特征解码模块,分支融合特征表达Y
0 0
作为GRU的初始运动状态H(),骨架位置序列的最后一帧数据作为GRU的初始输入X(),迭代t生成预测序列;在t时刻,序列的运动隐含状态信息表示为H(),该时刻的骨架位置特征表t示为X(),GRU的运算过程表示为:
(t) (t) (t)
r =σ(rin(X )+rhid(H )) (16)
(t) (t) (t)
z =σ(zin(X )+zhid(H )) (17)
(t) (t) (t) (t)
h =tanh(hin(X )+hhid(r ⊙H )) (18)(t+1) (t) (t) (t) (t)
H =z H +(1‑z )h (19)其中,rin(·),rhid(·),zin(·),zhid(·),hin(·),t thhid(·)表示6个可训练的线性网络层,r()与z()表示两种由GRU对输入位置特征和历史运t t动状态特征的一种深层非线性映射表达,h()表示整合了r()、输入位置特征和历史运动状(t+1) t t态并通过一种深层非线性运算得到的运动特征表达,H 表示融合了r()、h()以及先前的运动状态对下一时刻的历史运动状态做出的更新特征表达,σ(·)与tanh(·)分别表示Sigmoid激活函数与双曲正切激活函数,两者表达式为:其中,exp(·)表示以自然数e为底的指数函数。
6.如权利要求5所述的一种面向人体骨架的羽毛球运动预测方法,其特征在于:在所述的特征解码模块包括:门控循环单元GRU对隐含的历史运动状态进行处理,解码模块基于更t新后的运动状态输出预测的未来骨架位置,t时刻,运动隐含状态信息表示为H(),骨架的位置估计值为 解码运算过程表示为:其中,GRU(·,·)表示门控循环单元GRU,fpred(·)表示用于预测的t+1时刻骨架位置与t时刻的骨架位置 之间差值的输出函数, 表示由fpred(·)预测差值与 相加后获得的t+1时刻骨架位置估计值。
7.一种面向人体骨架的羽毛球运动预测装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1‑6中任一项所述的一种面向人体骨架的羽毛球运动预测方法。
8.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑6中任一项所述的一种面向人体骨架的羽毛球运动预测方法。