1.一种基于自适应感知器组合网络的三维人体姿态估计方法,其特征在于由下述步骤组成:(1)数据集预处理
取Human3.6M数据集中的第1、5、6、7、8、9、11个人的人体姿态作为数据集,选用第1,5,
6,7、8个人的人体姿态作为训练集,第9、11个人的人体姿态作为测试集,三维人体姿态的17个关节点标注顺序为臀部、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝、脊柱、胸部、颈部、头部、左肩、左手肘、左手腕、右肩、右手肘和右手腕;
(2)获得人体姿态的二维数据
在训练集和测试集上使用堆叠沙漏网络进行二维人体姿态估计,堆叠沙漏网络由8个沙漏块堆叠而成,每个沙漏块由四组下采样模块和四组上采样模块组成,输入的图片大小被调整到256×256像素;使用堆叠沙漏网络在Human3.6M数据集上进行二维人体姿态估计,
2D
得到人体姿态的二维数据X ;
(3)构建自适应感知器组合网络
自适应感知器组合网络F由1~64个结构相同的模块依次串联构成,每个模块由自适应感知器图卷积递归网络与轻量级双层注意力网络串联构成;
所述的自适应感知器图卷积递归网络为:自适应空间感知器图卷积网络与自适应通道感知器图卷积网络、第一层归一化模块、第二层归一化模块、第三层归一化模块依次串联,自适应空间感知器图卷积网络的输入端分别与第一扩展残差连接模块、第二扩展残差连接模块、第三扩展残差连接模块的输入端相连,自适应通道感知器图卷积网络的输出端与第一扩展残差连接模块的输出端相连,第一层归一化模块的输出端与第二扩展残差连接模块的输出端相连,第二层归一化模块的输出端与第三扩展残差连接模块的输出端相连,第三层归一化模块的输出端与轻量级双层注意力网络的输入端相连;
所述的自适应空间感知器图卷积网络由图卷积网络与自适应空间感知器网络并联构成;所述的自适应通道感知器图卷积网络由图卷积网络与自适应通道感知器网络并联构成;所述的轻量级双层注意力网络由非局部注意力网络与轻量级通道注意力网络并联构成;
(4)训练自适应感知器组合网络
1)确定损失函数
按下式确定损失函数L(B,J):
其中, 表示自适应感知器组合网络F第n个关节的估计三维人体姿态数据,Jn表示自适应感知器组合网络F第n个关节的真实三维人体姿态数据,表示由 计算出来的骨骼,Bi表示由Jn计算出来的骨骼,K是关节点的个数,K取值为17,M是骨骼的个数,M取值为16;
2)训练自适应感知器组合网络
将人体姿态的二维数据送入自适应感知器组合网络中进行训练,训练的参数为:批量大小为64,选择Adam为优化器,每100K次迭代的初始学习率为0.001,衰减率为0.5,训练至损失函数收敛;
(5)测试自适应感知器组合网络
将测试集输入到经过训练的自适应感知器组合网络F进行测试;
(6)三维人体姿态估计
通过自适应感知器组合网络F得到估计三维人体姿态数据 按下式确定:将估计三维人体姿态数据 与真实的三维人体姿态数据Jn通过均方误差函数,得到误差MPJPE,误差值越小,表明网络估计的越准确:
2.根据权利要求1所述的基于自适应感知器组合网络的三维人体姿态估计方法,其特征在于:在(3)构建自适应感知器组合网络步骤中,所述的自适应空间感知器网络由依次串联的下采样模块、修正线性单元、上采样模块,与空间多层感知器网络并联构成;按下式构ASMLP建自适应空间感知器网络X :
ASMLP T T
X =(W2×σ(W1×X)) +S×Wup(ReLU(Wdown(X)))其中,X为自适应空间感知器图卷积网络的输入数据,σ为非线性激活函数,W1和W2为权重,ReLU为修正线性单元函数,Wdown表示下采样模块,Wup表示上采样模块,S为比例系数,S取值为(0,1]。
3.根据权利要求1所述的基于自适应感知器组合网络的三维人体姿态估计方法,其特征在于:在(3)构建自适应感知器组合网络的步骤中,所述的自适应通道感知器网络由依次串联的下采样模块、修正线性单元、上采样模块,与通道多层感知器网络并联构成;按下式构建自适应通道感知器网络其中,公式中的 为输入自适应通道感知器图卷积网络的数据,W3和W4为权重。
4.根据权利要求1所述的基于自适应感知器组合网络的三维人体姿态估计方法,其特征在于:在(3)构建自适应感知器组合网络的步骤中,所述的轻量级通道注意力网络Ej按下式确定:其中,Ch表示第h通道,Cj表示第j通道,CRjh表示第h与第j通道之间相互依赖关系的度量,H为128,β为自适应参数,β取值为[0,8],Ej表示经过度量关系后Cj通道的最终值。
5.根据权利要求1所述的基于自适应感知器组合网络的三维人体姿态估计方法,其特征在于:在(3)构建自适应感知器组合网络的步骤中,所述的自适应感知器图卷积递归网络y按下式构建:ACGCN
y=LN3(λ3X+LN2(λ2X+LN1(λ1X+X )))其中,LN1为第一层归一化模块,LN2为第二层归一化模块,LN3为第三层归一化模块,λ1X为第一扩展残差连接模块,λ2X为第二扩展残差连接模块,λ3X为第三扩展残差连接模块,λ1为第一扩展残差连接模块的调制因子,λ2为第二扩展残差连接模块的调制因子,λ3为第三扩ACGCN展残差连接模块的调制因子,且λ1=λ2=λ3,λ1取值为[1,10],X 表示自适应通道感知器图卷积网络的输出。
6.根据权利要求1或5所述的基于自适应感知器组合网络的三维人体姿态估计方法,其特征在于:所述的第一层归一化模块、第二层归一化模块、第三层归一化模块的结构相同,第一扩展残差连接模块、第二扩展残差连接模块、第三扩展残差连接模块的结构相同。
7.根据权利要求1所述的基于自适应感知器组合网络的三维人体姿态估计方法,其特征在于:所述的图卷积网络的卷积核大小为3、空洞率为1、输出通道数为128。