1.基于关节点运动图的双人交互行为识别方法,其特征在于,关节点运动图构建步骤为:分别使用在xoy平面、xoz平面、yoz平面重新构建的关节点三维信息分别进行关节点的图像化表示,进而分别使用深度学习网络对其进行进一步的特征提取与动作分类,最后将三个平面得到的识别概率进行决策级融合得到最终的识别结果;
具体包括如下步骤:
步骤1:获取人体运动关节点数据;
步骤2:将步骤1中获取的关节点数据分别在xoy平面,xoz平面,yoz平面重新进行三维信息的构建;
步骤3:将步骤2中分别在xoy平面,xoz平面,yoz平面重新构建的关节点三维信息,分别映射到RGB色彩空间得到图像化特征来进行初步特征提取;
步骤4:将步骤3中关节点特征图像分别进行深层次特征提取与表示;
步骤5:将步骤4中关节点特征图像分别进行识别并转化为每类动作识别概率;
步骤6:将步骤5中三个平面得到识别概率进行决策级融合得到最终的识别结果;
所述步骤2其中xoy平面三维信息的构建是将三维信息中的x,y保留作为图像中的坐标信息,在坐标点的位置重新定义一组新的三维信息,包括关节点序列中对应的帧号n、单人中的关节点序号i和深度信息z;xoz平面三维信息的构建是将三维信息中的x,z保留作为图像中的坐标信息,在坐标点的位置重新定义一组新的三维信息,包括关节点序列中对应的帧号n、单人中的关节点序号i和深度信息y;yoz平面三维信息的构建是将三维信息中的y,z保留作为图像中的坐标信息,在坐标点的位置重新定义一组新的三维信息,包括关节点序列中对应的帧号n、单人中的关节点序号i和深度信息x;
步骤3中关节点三维信息的图像化表示,是使用转换函数对xoy,xoz,yoz这三个平面重新构建的关节点三维信息分别进行归一化处理后,再将三个平面每个点的三维坐标分别映射为RGB彩色空间R,G,B的通道值。
2.根据权利要求1所述的基于关节点运动图的双人交互行为识别方法,其特征在于:所述步骤1中使用深度相机Kinect v2提取人体中的关节点信息。
3.根据权利要求1所述的基于关节点运动图的双人交互行为识别方法,其特征在于:步骤4分别采用VGG19卷积网络对xoy,xoz,yoz这三个平面的关节点图像进行深层次特征提取与表示。
4.根据权利要求1所述的基于关节点运动图的双人交互行为识别方法,其特征在于:步骤5将三个坐标平面得到的特征向量分别采用Softmax分类器转化为每类动作识别概率。
5.根据权利要求1所述的基于关节点运动图的双人交互行为识别方法,其特征在于:步骤6中决策级融合方式为xoy平面识别结果概率加权为50%,xoz平面识别结果概率加权为
30%,yoz平面识别结果概率加权为20%。