1.基于时空GAN网络的人体骨骼数据生成方法,其特征在于,包括以下步骤:步骤1,获取人体骨骼动作的数据集;
步骤2,对步骤1中数据集做预处理作为训练集,对待识别的动作序列做预处理作为测试集;
步骤3,搭建时空GAN网络模型,所述时空GAN网络模型包括依次级联的空间人体生成网络和人体动作序列生成网络,所述空间人体生成网络包括单帧生成器和单帧判别器,所述人体动作序列生成网络包括序列生成器和序列判别器;
所述单帧生成器包括依次连接的输入层和5个全连接层,每个全连接层后均连接一个归一化层,所述单帧判别器由5个全连接层依次连接;
所述序列生成器包括依次连接的输入层、3个全连接层和5个LSTM网络,所述序列判别器包括依次连接的5个LSTM网络;
步骤4,采用训练集依次对进行空间人体生成网络和人体动作序列生成网络进行训练;
训练时采用使用W距离和一个梯度惩罚项作为损失函数;
具体包括:
步骤4.1,网络参数初始化;
步骤4.2,采用输入给单帧生成器通过全连接层的映射,生成的假样本和真实的标签一同送给判别器,使得单帧判别器更好的区分二者,再将单帧判别器得到的梯度反传给生成器训练生成器,反复训练直至网络收敛;
步骤4.3对训练集进行等间隔采样,使得16帧表示一个人体动作序列,取16个上一步骤中已经训练好的空间人体生成网络的生成器,通过全连接层映射,再将这个网络送给具有
16个节点的LSTM网络层,每个节点输出的向量作为每个空间生成器的输入,使得输入给16个生成器的向量在时间上具有相关性,如此得到生成虚拟的16帧人体行为和真实数据等间隔采样得到的样本一同送给判别器,使得判别器可以区分生成的人体动作序列和真实的人体动作序列,再将梯度反传给生成器,直至网络收敛;
步骤5,采用训练好的时空GAN网络模型对测试集进行骨骼序列数据生成。
2.如权利要求1所述的基于时空GAN网络的人体骨骼数据生成方法,其特征在于,所述步骤2具体的为:首先,排除由于传感器误差导致偏离实际的样本;其次对数据做归一化处理,即针对每一组内数据,将所有的坐标点除以最大值,使得所有的坐标点大小分布在[0,
1]之间;最后将相对坐标转化为绝对坐标,得到骨骼关节点坐标数据。
3.如权利要求1所述的基于时空GAN网络的人体骨骼数据生成方法,其特征在于,所述LSTM网络的运算公式如下:(1)
其中, 表示待训练的网络参数, 表示当前节点的特征值, 表示之前时刻积累的特征值, 表示偏置特征值, 表示一种非线性激活函数。
4.如权利要求1所述的基于时空GAN网络的人体骨骼数据生成方法,其特征在于,所述步骤4.1中初始化参数为:训练遍历所有数据的次数设定100 200之间的整数,每批次训练~的样本数设定为{8,16,32,64}中的一个,初始学习率为0.000001。
5.如权利要求1所述的基于时空GAN网络的人体骨骼数据生成方法,其特征在于,空间人体生成网络和人体动作序列生成网络的生成器和判别器均采用交替的训练方式,针对每一批次的样本首先训练判别器6次,再训练生成器1次。
6.如权利要求1所述的基于时空GAN网络的人体骨骼数据生成方法,其特征在于,所述损失函数的公式为:(2)
(3)
其中,LG表示生成器的损失函数,LD表示判别器的损失函数; 表示数据集中的真实样本, 表示生成器生成的样本, 表示真实样本通过判别器的得分, 表示生成样本通过判别器的得分, 表示生成样本在判别器中梯度的二范数,构成梯度惩罚项的主要部分, 表示梯度惩罚项的权重。