1.基于多流LSTM的动作识别方法,其特征在于:包括以下步骤:步骤1:利用深度相机对人体骨架关节点的坐标数据进行采集,得到由所述关节点表示的动作序列;
步骤2:对所述动作序列进行视角预处理,并利用特征提取模型A对视角预处理结果进行特征提取;
步骤3:对所述动作序列进行动态属性萃取,并利用特征提取模型B对动态属性萃取结果进行特征提取;
步骤4:利用特征提取模型C分别对所述视角预处理结果和动态属性萃取结果进行特征提取,并对提取的特征进行特征融合;
步骤5:分别利用所述步骤2和步骤3提取的特征以及步骤4中融合的特征进行动作识别;
步骤6:对所述步骤5得到的识别结果进行决策融合,最终得到动作的识别结果。
2.根据权利要求1所述的基于多流LSTM的动作识别方法,其特征在于:所述特征提取模型A、特征提取模型B、特征提取模型C的获取方法如下:S001:利用深度相机采集人体骨架关节点的坐标数据,得到训练样本;
S002:对所述训练样本进行视角预处理,以视角预处理结果为输入,构建三层LSTM网络,并对所述三层LSTM网络进行训练,得到特征提取模型A;
S003:对所述训练样本进行动态属性萃取,以动态属性萃取结果为输入,构建三层LSTM网络,并对所述三层LSTM网络进行训练,得到特征提取模型B;
S004:以视角预处理结果为输入,构建三层LSTM网络;以动态属性萃取结果为输入,构建三层LSTM网络;构建融合该步骤中两个三层LSTM网络输出特征的特征融合框架;对该步骤中的两个三层LSTM网络和特征融合框架进行联合训练,得到特征提取模型C。
3.根据权利要求1-2所述的基于多流LSTM的动作识别方法,其特征在于:所述步骤2具体为:S201:利用人体骨架关节点的坐标数据得到旋转矩阵,所述旋转矩阵公式如下:Rc'→h(t)=[s1 s2 s3]T (1),
其中,
s3=s1×s2 (3);
t表示时间变量,h表示人体骨架坐标系,c表示相机坐标系,c'表示中间坐标系,表示以相机坐标系为基准的人体左肩在t时刻的3D坐标, 表示以相机坐标系为基准的人体右肩在t时刻的3D坐标, 表示以相机坐标系为基准的人体躯心在t时刻的3D坐标;
S202:计算每个关节点的3D坐标 获得视角预处理结果,其中,k表示人体关节点的序号, 表示以骨架坐标系为基准的人体第k个关节点在时间t的3D坐标, 表示以相机坐标系为基准的人体关节点k在t时刻的3D坐标。
S203:利用特征提取模型A提取步骤S202中视角预处理结果的特征。
4.根据权利要求1-2所述的基于多流LSTM的动作识别方法,其特征在于:所述步骤3具体为:S301:对所述动作序列进行动态属性萃取,动态属性萃取为追踪每个关节点在两个固定时间间隔d间的位置变化信息,获得萃取结果f(t+d)-f(t)(6),其中,d表示固定时间间隔,f(t)表示在t时刻人体关节点的3D坐标;
S302:利用特征提取模型B提取步骤S301中动态属性萃取结果的特征。
5.根据权利要求1-2所述的基于多流LSTM的动作识别方法,其特征在于:所述步骤4的具体内容如下:S401:利用特征模型C分别对步骤2的视角预处理结果和步骤3的动态属性萃取结果进行特征提取;
S402:对步骤S401提取的特征进行特征融合,特征融合采用的公式如下:其中,L代表融合输出的特征数量, 或 表示加成权重,M×L表示加成权重α的大小,N×L表示加成权重β的大小,am和bn分别表示需要融合的两类特征,m∈(1,M),n∈(1,N)分别表示需要融合的两类特征的维度,CL表示特征融合后得到的特征。
6.根据权利要求1所述的基于多流LSTM的动作识别方法,其特征在于:所述步骤5中动作识别具体为:将步骤2提取的特征、步骤3提取的特征和步骤4融合的特征分别依次输入各自的全连接层和softmax进行动作识别。
7.根据权利要求1所述的基于多流LSTM的动作识别方法,其特征在于:所述步骤6中决策融合具体为:将所述步骤5得到的3个识别结果进行连乘,连乘结果所代表的类型就是最终动作识别的结果。