利索能及
我要发布
收藏
专利号: 2021110570374
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于自适应模型的人体姿态实时估计方法,其特征在于:所述方法包括以下步骤:j

步骤1)获取人体各关节点空间位置数据y,使用神经网络建立运动轨迹模型fi和动作c识别模型fi;

步骤2)分别建立各动作下人体各关节点的运动轨迹模型,确定过程噪声 的协方差以及建立各动作下人体姿态的量测模型,确定量测噪声 及其协方差步骤3)确定人体各关节点的初始状态值及其协方差 Pi,0|0;人体各关节点的初始状态值为关节点i在视觉传感器坐标系下x,y,z轴上的值, 和Pi,0|0为人体关节点i的初始位置信息及其协方差;

步骤4)根据建立的动作识别模型,计算出k时刻各关节点的动作ji,k,选择对应的各关节点运动轨迹模型,若不满足触发条件,直接执行步骤5),否则,更新各关节点运动轨迹模型的细胞状态 和隐藏状态 继而执行步骤5);其中ji,k为人体关节点i在k时刻的动作类别, 和 为人体各关节点i在k‑1时刻运动轨迹模型的细胞状态和隐藏状态;

步骤5)根据选择的运动轨迹模型,使用UT变换,分别计算各关节点的状态预测值及其协方差Pi,k|k‑1,并更新各关节点运动轨迹模型的细胞状态 和隐藏状态步骤6)读取人体各关节点姿态的量测值zi,k,计算各关节点的卡尔曼增益Ki,k,并分别计算各关节点的状态估计值 及其协方差Pi,k|k;

重复执行步骤4)‑6)完成对人体各关节点的状态估计,实现基于自适应模型的人体姿态实时估计。

2.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法,其特征在于:步骤1)中,所述神经网络为LSTM神经网络,以采样t‑1时刻人体关节点的位置 作为网络的输入,在采样t时刻的位置 作为网络的期望输出,对动作j的样本进行神经网络训练,j=j

1,2,…,N为动作类别,得到动作j的各关节点运动轨迹模型函数fi:其中,i=1,2,…,15表示人体各关节点的序号,包括头部、胸椎、左肩、右肩、左肘、右肘、左腕、右腕、骶椎、左髋、右髋、左膝、右膝、左踝、右踝共15个人体姿态估计所需的关节点;t=1,2,…为离散采样时间序列; 为采样t‑1时刻动作j关节点i的状态信息, 分别表示动作j关节点i在深度传感器坐标系下x,y,z轴上的值,为神经网络的输入; 为神经网络输出的动作j关节点i的状态信息,分别表示动作j关节点i在深度传感器坐标系下x,y,z轴上的值; 为训练好的运动轨迹模型函数; 和 分别表示输入门、遗

j

忘门、输出门、候选态的权重矩阵和偏差,Wi 和 分别表示全连接层的权重矩阵和偏差;

和 分别表示细胞状态和隐藏状态在t‑1时刻的输出; 分别表示输入门、遗忘门、输出门、候选态的输出值;σ表示sigmoid激活函数,tanh表示tanh激活函数;

以采样t时刻的人体关节点的位置yi,t作为网络的输入,动作ji,t作为网络的期望输出,c对神经网络进行训练,得到实时的各关节点动作识别模型函数fi:其中,上标c表示动作识别模型, 为采样t时刻关节点i的状态信息,分别表示关节点i在深度传感器坐标系下x,y,z轴上的值,为神经网络的输入;

为神经网络输出的动作类别; 为训练好的动作识别模型函数;softmax表示Softmax激活函数。

3.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法,其特征在于:所述步骤2)中,建立人体关节点的运动轨迹模型和基于深度图像的量测模型如下:其中,k=1,2,…为离散时间序列, 为关节点i在k时刻的状态信息,分别表示关节点i在深度传感器坐标系下x,y,z轴上的值,为关节点i从深度图像中获取的量测信息, 分别表示关节点i在深度传感器坐j标系下x,y,z轴上的值;fi 为实时选择的各关节点运动轨迹模型函数; 是均值为0且协方差为 的高斯白噪声, 是均值为0且协方差为 的高斯白噪声; 为基于动作j的人体关节点i的过程噪声协方差, 为基于动作j的人体关节点i的量测噪声协方差。

4.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法,其特征在于:所述步骤4)中,事件触发条件为:ji,k≠ji,k‑1 (15)。

5.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法,其特征在于:所述步骤5)中,UT变换是一种计算非线性变换中随机变量统计特性的有效方法,根据公式(m) (c)(18)、(19)计算2n+1个Sigma点χl及一阶权重Wl 和二阶权重Wl :其中,n为状态向量维数,α,β,κ为确定常数;

对每个Sigma点通过运动轨迹模型传播,得到:

j

yl=fi(χl) l=0,1,…,2n (20)根据公式(21)、(22)计算各关节点的状态预测值 及其协方差Pi,k|k‑1:。

6.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法,其特征在于:所述步骤6)具体过程如下:根据状态预测值 及其协方差Pi,k|k‑1,再次使用UT变换,产生新的Sigma点集:将Sigma点集Υl通过量测模型传播,得到:

Zl=Υl l=0,1,…,2n (24)

并根据公式(25)‑(27)计算得量测值的一步预测 及量测预测误差协方阵 和状态预测误差和量测预测误差的互协方差阵 为:最后,读取当前状态的量测值zi,k,根据公式(28)‑(30)计算各关节点的卡尔曼增益Ki,k,状态估计值 及其协方差Pi,k|k:‑1

Ki,k=Pxkzk(Pzkzk) (28)