1.一种基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:所述基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法包括如下步骤:S1、获取人体行为视频并进行预处理;
S2、从预处理后的人体行为视频中提取每帧图像的人体骨架数据,所述人体骨架数据包括各关节对应的元组(X,Y,Z),所有图像的人体骨架数据按照时间排序形成骨架序列其中,X为对应关节的X坐标值,Y为对应关节的Y坐标值,Z为对应关节的置信度或Z坐标值,v为关节向量,C为坐标维度,T为时间,N为关节点数;
S3、将在先获得的人体骨架数据填充至骨架序列V形成新的骨架序列V’,所述新的骨架序列V’具有连续的预设帧数的人体骨架数据;
S4、基于新的骨架序列V’获取每帧图像的二阶信息数据,所述二阶信息数据包括eti、ati、mjoint,tj、mbone,ti、mjoint2,tj和mbone2,ti,计算公式如下:eti=vti′‑vti
mjoint,tj=v(t+1)j‑vtj
mbone,ti=e(t+1)i‑eti
mjoint2,tj=v(t+2)j‑vtj
mbone2,ti=e(t+2)i‑eti
其中,eti为第t帧第i个骨骼的骨骼向量,vti为第t帧第i个骨骼上靠近骨架重心的源关节坐标,vti′为第t帧第i个骨骼上远离骨架重心的目标关节坐标,atic为第t帧第i个骨骼的骨骼向量在c方向分量上的角度,c∈{x,y,z},ati=(atix,atiy,atiz),etic为第t帧第i个骨骼的骨骼向量在c方向分量的值,etix为第t帧第i个骨骼的骨骼向量在x方向分量的值,etiy为第t帧第i个骨骼的骨骼向量在y方向分量的值,etiz为第t帧第i个骨骼的骨骼向量在z方向分量的值,mjoint,tj为第j个关节在第t+1帧和第t帧的向量差,mbone,ti为第i个骨骼在第t+1帧和第t帧的向量差,mjoint2,tj为第j个关节在第t+2帧和第t帧的向量差,mbone2,ti为第i个骨骼在第t+2帧和第t帧的向量差,vtj为第t帧第j个关节的坐标,v(t+1)j为第t+1帧第j个关节的坐标,v(t+2)j为第t+2帧第j个关节的坐标,e(t+1)i为第t+1帧第i个骨骼的骨骼向量,e(t+2)i为第t+2帧第i个骨骼的骨骼向量;
S5、基于获取的
和新的骨架序列V’七类数据分别对应建立
七类训练集和标签,其中,e为每个骨骼的骨骼向量,a为每个骨骼的骨骼向量在x,y,z方向分量上的角度,mjoint为每个关节在相邻帧图像的向量差,mjoint2为每个关节在间隔一帧图像的向量差,mbone为每个骨骼在相邻帧图像的向量差,mbone2为每个骨骼在间隔一帧图像的向量差;
S6、建立膨胀时空图卷积网络模型,所述膨胀时空图卷积网络模型包括七个第一图卷积网络和一个多分支特征融合单元,所述第一图卷积网络包括依次连接的第一BN层、多尺度图卷积模块、全局平均池化层、Dropout层和softmax分类器,所述多尺度图卷积模块包括输出通道依次为64、64、64、64、128、128、128、256、256、256的十层特征提取模块,各层所述特征提取模块包括依次连接的自适应空间域图卷积单元、注意力单元和时间域图卷积单元,所述膨胀时空图卷积网络模型还执行如下操作;
S61、利用各所述第一图卷积网络获取对应的初始预测结果和softmax分数;
S62、利用所述多分支特征融合单元计算各所述第一图卷积网络输出的初始预测结果的权重系数αs,公式如下:其中, 表示每流初始预测结果组成的数组,每流初始
预测结果的取值范围为0~1,Acu[n]表示第n流识别准确度,Acu[s]表示第s流识别准确度,γ为0.001;
S63、将各softmax分数进行加权融合获取融合结果Result,计算公式如下:
其中,rs为第s流的softmax分数;
S7、将各类所述训练集和标签一一对应输入所述膨胀时空图卷积网络模型的第一图卷积网络进行训练,获取预训练好的膨胀时空图卷积网络模型;
S8、将待识别的人体行为视频建立七类训练集后输入预训练好的膨胀时空图卷积网络模型,获取的融合结果Result即为最终预测结果。
2.如权利要求1所述的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:步骤S1中,所述预处理为将人体行为视频的分辨率调整为340×256,帧率转换为
30FPS。
3.如权利要求1所述的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:步骤S2中,所述人体骨架数据基于Openpose姿态估计工具箱提取。
4.如权利要求1所述的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:步骤S3中,所述预设帧数为300帧。
5.如权利要求1所述的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:所述时间域图卷积单元包括第一残差模块和依次连接的第一特征提取单元、Concat函数和第二特征提取单元,所述第一残差模块和第一特征提取单元的输入端与注意力单元连接,所述第一残差模块的输出端与第二特征提取单元连接,所述第二特征提取单元用于执行相加操作,所述第一特征提取单元包括并行的六个第一分支单元、一个第二分支单元和一个第三分支单元,所述第一分支单元包括依次连接的第一瓶颈层、第一膨胀卷积层和第二BN层,所述第二分支单元包括依次连接的第二瓶颈层、最大池化层和第三BN层,所述第三分支单元包括依次连接的第二卷积层和第四BN层。
6.如权利要求5所述的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:各所述瓶颈层包括依次连接的第三卷积层、第六BN层和Relu函数,所述第一残差模块包括依次连接的第四卷积层和第七BN层。
7.如权利要求1所述的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:所述特征提取模块还包括第二残差模块、第一激活函数、第二激活函数、第三激活函数、第五BN层和第三特征提取单元,所述自适应空间域图卷积单元、第一激活函数、注意力单元、时间域图卷积单元、第五BN层、第二激活函数、第三特征提取单元和第三激活函数依次连接,所述第二残差模块的输入端与所述自适应空间域图卷积单元的输入端连接,输出端与所述第三特征提取单元连接,所述第三特征提取单元用于执行相加操作。
8.如权利要求1所述的基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法,其特征在于:所述自适应空间域图卷积单元满足如下公式:其中,fin为自适应空间域图卷积单元的输入,fout为自适应空间域图卷积单元的输出,k=0,1,…,K,K为空间维度的核心大小,Wk为1×1卷积操作的权重向量,Bk为针对多尺度图卷积模块各层的数据驱动的可学习邻接矩阵,Ck为针对每个样本的邻接矩阵,β为自适应系数。