1.一种基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,具体包括如下步骤:
(1)将人体运动视频使用姿态估计算法提取骨架序列,通过骨架序列构建时空图G=(V,E),其中,V={vti|t=1,2,…,T,i=1,2,…,N}表示关节点信息,t表示帧数索引,i表示关节点索引,T表示总帧数,N表示人体关节点数量,E表示骨骼信息,由Es和Et组成,Es表示在相同帧上的关节点的自然连接,Et表示同一个关节点在相邻帧上的连接;
(2)构建基于注意力机制的自适应图卷积网络,所述自适应图卷积网络包括依次连接的空间图卷积模块、时间卷积模块、时间注意力模块、通道注意力模块、softmax分类器,所述空间图卷积模块用于获取时空图的空间图卷积输出特征图;所述时间卷积模块用于获取空间图卷积输出特征图中的时间特征信息;所述时间注意力模块用于建立获取的时间特征信息的帧内相关性;所述通道注意力模块用于获取时空特征图,并通过残差连接的方式与输入的时空图进行合并;所述softmax分类器用于预测时空图的动作分类;
(3)将步骤(1)中构建的时空图输入至基于注意力机制的自适应图卷积网络中进行训练,以交叉熵作为损失函数来反向传播梯度,权重衰减为0.0001,训练64次后,完成对自适应图卷积网络的训练;
(4)再次将人体运动视频处理成时空图,输入到训练好的基于注意力机制的自适应图卷积网络中,得到动作的分类结果;
所述空间图卷积模块用于获取时空图的空间特征图的具体过程为:
其中,fout1表示空间图卷积输出特征图,fib()表示输入的时空图,Ak为邻接矩阵,Bk为数据驱动图矩阵,Dk为图注意力矩阵,Wk为1×1卷积核权重,Kv表示空间维度的核大小,设置为
3,k表示3种分区策略,k=0时,表示关节点本身;k=1时,表示距关节点距离为1的邻接关节点集;k=2,表示距关节点距离为2的邻接关节点集。
2.根据权利要求1所述基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,所述空间图卷积模块由依次连接的空间卷积层、第一批处理标准化层、第一激活函数层、第一随机丢弃处理层组成,所述第一随机丢弃处理层的Dropout率设置为0.5。
3.根据权利要求1所述基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,所述时间卷积模块用于获取空间图卷积输出特征图中的时间特征信息的过程具体为:使用1×Kt的卷积核对空间图卷积输出特征图进行时间卷积操作,获取时间特征信息,其中kt是内核感受野内考虑的帧数。
4.根据权利要求1所述基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,所述时间卷积模块由时间卷积层、第二批处理标准化层、第二激活函数层、第二随机丢弃处理层组成,所述第二随机丢弃处理层的Dropout率设置为0.5。
5.根据权利要求1所述基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,所述时间注意力模块用于建立获取的时间特征信息的帧内相关性的方法具体为:其中,fout2表示输出的帧内相关性的特征图,t表示帧数, 表示与关节点vti相关联的查询矩阵, 表示与关节点vui相关联的键矩阵, 表示与关节点vui相关联的值矩阵,vti与vui分别代表不同帧的同一关节点, 表述矩阵相乘,softmax()表示softmax函数。
6.根据权利要求1所述基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,所述通道注意力模块用于获取时空特征图的过程具体为:将帧内相关性的特征图进行挤压操作,然后依次经过第一全连接层、PReLU激活函数、第二个全连接层、Sigmoid激活函数,将得到的结果与帧内相关性的特征图相乘,并且通过残差连接的方式与时空图合并,或得时空特征图。
7.根据权利要求1所述基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,所述softmax分类器用于预测时空图的动作分类的方法具体为:分别获取时空图中关节点信息的时空特征图的分数、骨骼信息的时空特征图的分数以及对应的权重,通过叠加每个动作的得分,得出每个动作的得分概率,得分概率最高的动作即为识别出的动作。
8.根据权利要求1所述基于注意力机制的自适应图卷积网络的动作识别方法,其特征在于,所述基于注意力机制的自适应图卷积网络在训练过程中采用Nesterov动量为0.9的随机梯度下降法作为优化策略。