1.一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，包括：基于人体特有关节空域关系构建关节空间约束，所述关节空间约束包括关节相对距离约束和高相关度关节对约束；

构建具有空间和时间注意力机制的LSTM网络以得到关节特征；

通过热图定位重要关节并抽取附近外观特征；

将关节特征、外观特征融合后给出动作识别结果；

基于人体特有关节空域关系构建关节空间约束，具体为：所有关节坐标表示为Xt＝(Xt,1,...,Xt,K)，其中Xt，k＝(xt,k,yt,k,zt,k)表示第t帧内关节k坐标，且具有K个关节点的人体骨骼结构；

构造关节相对距离约束，取髋关节Xt,1＝(x1,y1,z1)坐标为中心，髋关节与其它关节之间欧式距离表示如下：其中，j＝2,3,...,K；

对dt,j_1进行归一化得到如下相对距离为：其中，dt,21_1为锁骨及髋关节的距离；第t帧内关节相对距离表示为：Bt＝[lt,2_1,lt,3_1...,lt,K_1]                    (3)构造高相关度关节对约束，关节相对位置由下式获得：Ct,i_j＝Xt,i‑Xt,j                      (4)其中，Ct,i_j表示第t帧内第j个关节相对第i个关节的坐标，即二者空域拓扑信息；

只选取相关度较高的一、二级相关信息，分别如下式所示：R1＝[Ch_k,Cm_n,…,Co_p],R2＝[Cq_r,Cu_v,…,Cx_y]          (5)其中，h，k；m，n；o，p表示仅由一条边相连的关节对，q，r；u，v；x，y表示由两条边相连的关节对；

某动作的关节序列空时信息表示如下：

ft＝[Xt；Bt；R1；R2]                      (6)通过热图定位重要关节并抽取附近外观特征，具体为：提取序列帧片段中权重最大帧以表征相似帧片段，时间权重βi的序列帧i与参考帧 之间权重差值为βc，即：*

设定相似帧权重差阈值为δ，当βc≥δ则帧i为新参考帧，提取所有参考帧N构成表征动作时域特征的关键帧；同时对关键帧各关节周围抽取半径为R的圆形区域外观特征加以关节权重；

将关节特征、外观特征融合后给出动作识别结果，具体为：将关节特征与外观特征以不同权重占比λ1与λ2进行融合，其中λ1+λ2＝1，其融合特征表示为：将其映射至全连接层并基于Softmax激活函数识别动作：正则化损失函数如下：

T

其中，第一项基于交叉熵y＝(y1,...,yC) 表示真实动作， 为第i类动作预测概率；第二项为模型参数正则化约束以抑制过拟合，λ为损失函数平衡因子，W为模型参数。

2.根据权利要求1所述一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，构建具有空间注意力机制的LSTM网络，具体为：设t时刻所有关节权重表示为αt＝(αt,1,...,αt,l)，l为输入特征ft维数，对应得分st＝(st,1,...,st,l)表示为：st＝tanh(wfft+whht‑1+b)          (7)采用tanh激活函数，wf、wh分别为输入数据ft及上层LSTM隐藏变量ht‑1的加权矢量，b为偏差矢量；

经由Softmax激活函数获取表征关节空域重要性的权值：输入主LSTM网络的空域加权特征为：

ft′＝αt⊙ft         (9)其中，⊙为Hadamard积算子，表示矢量相应元素相乘。

3.根据权利要求1所述一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，构建具有时间注意力机制的LSTM网络，具体为：各帧权重βt表示如下：

式中，采用ReLU非线性激活函数， 为上一帧隐藏变量， 为待学习参数，为时空注意力偏差向量；空域加权特征ft′经由主LSTM网络后输出为ht′，对ht′加以时间注意力机制，所得输出特征向量表示为ot＝βt·ht′，而后输入至全连接层得到：其中，i＝1,…,C,C表示不同动作类别骨骼流的向量，wo为权值矩阵，bo为偏置向量。

4.根据权利要求1所述一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，所述外观特征包括LBP纹理，为获取LBP纹理设nc为中心点灰度值，n0,n1,n2,n3,n4,n5,n6,n7为邻域点灰度值；以中心像素为阈值依次比较邻域像素点，若像素灰度值大于阈值将该邻域像素点标记为1，否则为0；将结果采用顺时针构成二进制序列，作为该中心像素LBP值，公式如下：* *

其中， 为第i(i＝1,2,…,N)关键帧圆形区域对应纹理直方图向量。

5.根据权利要求1所述一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，所述外观特征包括HSV颜色特征，其HSV量化级为：将H、S和V分量的非均匀量化结果合成分量G为：G＝HQsQv+SQv+V         (18)式中，Qs、Qv分别为SV分量量化级数； 为各圆形子块对应颜色直方图向量。

6.根据权利要求1所述一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，热图所指示关键关节周围提取纹理分布直方图及颜色直方图，并串接为向量先拼接单个圆形区域，再将表观序列圆形区域乘以对应关节权重依次连接获得最终颜色纹理特征向量：