利索能及
我要发布
收藏
专利号: 2021104224317
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉和惯性信息融合的人体姿态估计方法,其特征在于,所述方法包括以下步骤:

步骤1)建立人体各骨骼节点运动学模型,确定优化变量θ,确定相机坐标系c和全局坐标系g之间的齐次变换矩阵 惯性坐标系n与全局坐标系g之间的旋转矩阵 惯性传感器i与对应骨骼坐标系bi之间的位移矩阵 和旋转矩阵步骤2)设置视觉和惯性的输出频率一致,以惯性传感器的旋转约束ER(θ)、加速度约束EA(θ)、视觉传感器位置约束EP(θ)以及人体姿态先验约束Eprior(θ)为优化项构建优化问题,设置各优化项的权重;

步骤3)每个时刻读取视觉传感器的位置测量值 以及惯性传感器的旋转测量值Ri和加速度测量值ai,计算各优化项在统一坐标系后的传感器测量值 与估计值步骤4)求解非线性最小二乘优化问题,解得每个时刻的最优解θ即当前时刻人体各骨骼节点的最优旋转角度和根骨骼节点n1的最优全局位置,根据建立的人体骨骼节点运动学模型,得到当前时刻的人体姿态估计;

步骤5)重复执行步骤3)和4)完成每个时刻对人体各关节点的状态估计,得到基于视觉和惯性信息融合的实时人体姿态估计。

2.如权利要求书1所述的基于视觉和惯性信息融合的人体姿态估计方法,其特征在于,所述步骤1)中,所述的相机坐标系c表示深度相机的坐标系,惯性坐标系n表示所有惯性传感器经过标定后的统一坐标系,全局坐标系g与骨骼节点的初始坐标系对齐。

3.如权利要求书1或2所述的基于视觉和惯性信息融合的人体姿态估计方法,其特征在于,所述步骤2)中,所述的旋转约束ER(θ)通过每个IMU旋转矩阵的测量值和估计值间的差异来建立;所述的加速度约束EA(θ)通过最小化每个IMU加速度的测量值和估计值间的差异来建立;所述的位置约束EP(θ)通过最小化各骨骼节点全局位置的测量值和估计值间的差异来建立;所述的人体姿态先验约束Eprior(θ)通过已有人体姿态估计数据集来建立。

4.如权利要求书1或2所述的基于视觉和惯性信息融合的人体姿态估计方法,其特征在于,所述步骤3)中,所述的 是从视觉传感器中读取的人体各关节点位置信息,Ri是从惯性的陀螺仪中读取的旋转信息,ai是从惯性的加速度计中读取的加速度信息。

5.如权利要求书1或2所述的基于视觉和惯性信息融合的人体姿态估计方法,其特征在于,在所述步骤4)中,所述的根骨骼节点n1位于人体盆骨关节点。

6.如权利要求书1或2所述的基于视觉和惯性信息融合的人体姿态估计方法,其特征在于,所述步骤1)的过程为:

1.1)人体骨骼定义为相互连接的刚体,骨骼节点的初始坐标系B与全局坐标系g对齐,定义上半身骨骼数量nb=13,骨骼节点分别为左手、右手、左前臂、右前臂、左上臂、右上臂、左肩、右肩、脊柱1~4以及盆骨,其中盆骨视作根骨骼节点n1,子骨骼节点nb(b≥2)都与其父节点有相对的旋转矩阵Rb和相对不变的位移tb,每个骨骼间具有3个旋转自由度,根节点具有全局位移量(x1,y1,z1),用42(d=3+3×nb=42)个自由度来表述整个人体上半身的运动,将42个变量记为一个42维向量θ,向量θ作为优化问题的优化变量,由正向运动学公式推导得出每个刚性骨骼在全局坐标系下的齐次变换矩阵其中P(b)为全部骨骼的集合;

1.2)将两个视觉传感器分别放置于测试者面前,视觉传感器距离测试者L=2米,使用“张正友相机标定法”得到两个相机对于全局坐标系g的平移矩阵 和旋转矩阵 进而确定相机坐标系c和全局坐标系g的齐次变换矩阵

1.3)将惯性传感器IMU放置于全局坐标系g处,使得惯性传感器坐标系n与全局坐标系g对齐,得到此时惯性传感器输出值,即为惯性传感器坐标系n与全局坐标系g之间的旋转矩阵 重复上述操作,得到第i(i=1,2,3,4,5)个惯性传感器坐标系ni与全局坐标系g之间的旋转矩阵

1.4)IMU穿戴在左手、右手、左前臂、右前臂、盆骨的相应骨骼点处,IMUi与对应骨骼坐标系bi之间不存在位移,即

在初始时刻测试者做“T‑pose”校准姿态,此时定义IMUi的测量值为Ri_initial,则IMUi与对应骨骼坐标系bi之间的旋转矩阵 表示为:

7.如权利要求书6所述的基于视觉和惯性信息融合的人体姿态估计方法,其特征在于,所述步骤2)的过程为:

2.1)IMUi对应的骨骼节点在全局坐标系下的旋转矩阵的测量值和估计值之间的差异作为IMU的旋转项约束,对应骨骼节点的旋转矩阵测量值表示为:其中,Ri为IMUi的旋转测量值,对应骨骼节点的旋转矩阵估计值表示为:其中,P(bi)为骨骼bi全部父骨骼的集合;

综上,旋转项的能量函数定义为:

其中,ψ(·)提取旋转矩阵四元数表示方法的向量部分,λR为旋转项能量函数的权重,ρR(·)表示一种损失函数;

2.2)最小化IMUi加速度测量值ai和估计值之间误差作为IMU的加速度约束项,加速度估计值 表示为:

其中, 等式(6)左边(t‑1)表示当前时刻使用上一时刻的加速度约束,全局坐标系下的加速度测量值 通过前一帧的旋转信息和加速度测量值计算得出,加速度测量值 表示为:

其中,ag为重力加速度;

综上,加速度项的能量函数定义为:

其中,λA为加速度项能量函数的权重,ρA(·)表示一种损失函数;

2.3)从视觉传感器的深度相机中得到人体骨骼节点的全局坐标(x,y,z),加入最小化骨骼节点全局位置的测量值和估计值之间最小化的约束项,定义用于位置约束项的骨骼节点数量为np,骨骼节点在相机c坐标系下的位置为 相机数量为nc,骨骼节点位置的估计值 表示为:

综上,位置约束的能量函数定义为:

其中,λP为位置约束项能量函数的权重,ρP(·)表示一种损失函数;

2.4)考虑实际骨骼的运动自由度存在限制,所以使用姿态先验项Eprior(θ)来限制关节不合理的运动,Eprior(θ)通过已有人体姿态估计数据集“TotalCapture(2017)”来建立,其中包含126000帧人体运动姿态数据;

首先对数据集中所有的数据进行k‑means聚类,选择聚类种类k=126000/100=1260,再对所有的聚类中心取均值,得到姿态的均值μ,最后对原始数据进行统计分析得姿态的标准差σ和各个骨骼节点的自由度上下限θmax和θmin,由此,姿态先验项定义为:其中,的维度为36,不对根节点的位移和旋转作限制,λprior为姿态先验项能量函数的权重,ρprior(·)表示一种损失函数;

2.5)综上所述,构建优化问题:

其中,EA、EP、Eprior中的损失函数设置为ρ(x)=log(1+x),通过按设定比例加大对异常值的惩罚,来限制异常值的影响,各优化项的权重设置为λR=0.1,λP=10,λA=0.005,λprior=

0.0001。