利索能及
我要发布
收藏
专利号: 2020101429452
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于标签分布学习的三维手部姿态估计方法,其特征在于:所述方法包括:

通过最远点采样法和基于OBB的点云归一化法对点云数据进行预处理;

采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量;

通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布,并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计。

2.根据权利要求1所述的一种基于标签分布学习的三维手部姿态估计方法,其特征在于:所述方法还包括在进行最远点采样法和基于OBB的点云归一化法对点云数据进行预处理之前,需要将采集到的手部三维散点深度图像的原始数据转换为三维点云数据的步骤。

3.根据权利要求1所述的一种基于标签分布学习的三维手部姿态估计方法,其特征在于:所述通过最远点采样法对点云数据进行预处理步骤包括:从初始点集P={p0,p1,…,pn}中选取任意一点pi,并从剩余点中取出与该点距离最远的pij加入到新的采样点集Psa中;

以新加入的采样点集Psa中的点pij为基准继续从剩余点钟取出与到采样点集Psa距离最远的点继续放入到采样点集Psa中;迭代直到采样到目标数量N截止。

4.根据权利要求1所述的一种基于标签分布学习的三维手部姿态估计方法,其特征在于:所述基于OBB的点云归一化法对点云数据进行预处理步骤包括:对输入的点云数据进行PCA主成分分析,得到输入点云数据的特征向量矩阵;

将原始数据乘以特征向量矩阵得到OBB坐标系下的原始数据旋转矩阵;

并根据点云数据在OBB坐标系下各个坐标方向最大值进行归一化。

5.根据权利要求4所述的一种基于标签分布学习的三维手部姿态估计方法,其特征在于:为保证输入输出数据在物理意义上相同,在训练阶段各手部关节点的三维坐标经过公式映射到OBB参考坐标系中;在测试阶段根据 公式将OBB参考坐标系中的各手部关节点的三维位置坐标系坐标变换回相机参考坐标系。

6.根据权利要求3所述的一种基于标签分布学习的三维手部姿态估计方法,其特征在于:所述采样特征学习网络将输入点云数据进行处理得到点云数据在高纬度的特征向量包括:将输入点云N个点进行第一次最远点采样得到N1个点,并根据采样点进行球查询,按照指定半径下N1个点周围的K个点为一个采样组,得到N1×D×K的点云数据,通过三个卷积核数量为64、64、128的1×1卷积层,将点云数据从D维变为128维,变为了点云数据高纬度的表示,再通过最大池化层得到每个采样点的特征;此时维度为N1×128、物理意义为N1个采样点的128维特征向量,代表了采样点及周围点的特征;

对N1个点进行第二次最远点采样并通过球查询的方式,获得N2×K个点,将每个点对应1中的128维特征向量与该点原始坐标信息合并得到N2×(d+128)×K特征集合,通过三个卷积核数量为128、128、256的1×1卷积层,将特征维度变为256维,再通过最大池化层;此时维度为N2×256、物理意义为N2个采样点的256维特征向量;

将N2个采样点的256维特征与采样点原始坐标信息合并成为N2×(d+256)特征集合,通过三个卷积核数量为256、512、1024的1×1卷积层,将特征维度变为1024维,再通过最大池化层,得到整体点云的特征;此时维度为1024,从而得到点云数据的1024维特征向量。

7.根据权利要求6所述的一种基于标签分布学习的三维手部姿态估计方法,其特征在于:所述特征学习网络包括PointNet++网络模型,通过在采样时使用最远点采样法以保证局部特征能够被充分学习。

8.根据权利要求1所述的一种基于标签分布学习的三维手部姿态估计方法,其特征在于:所述通过标签分布学习网络将手部姿态各关节点的位置抽象为其概率密度的空间位置分布,并根据各关节点在空间位置部分的概率密度的大小实现对手部姿态各关节点的估计包括:将OBB空间进行网格化划分,并将手部各关节点在三维坐标中的空间内的概率密度分布表示为分别计算x,y,z每个维度上的概率密度分布,并将每个维度的概率密度分布当做一个标签;

根据关节点标签的概率密度分布得到关节点标签位置的概率密度最大点,用该点表示标签信息,也就是x,y,z的坐标信息,即关节点位置信息;

确定预测估计的关节点位置信息与真实关节点位置信息之间距离差值大小,距离差值越小则预测估计结果越准确。

9.一种存储介质,其特征在于:所述存储介质上存储有计算机程序,所述计算机程序运行时执行如权利要求1-8中任意一项所述的一种基于标签分布学习的三维手部姿态估计方法的步骤。

10.一种终端,其特征在于:包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于标签分布学习的三维手部姿态估计的控制程序,所述基于标签分布学习的三维手部姿态估计的控制程序运行时执行如权利要求1-8中任意一项所述的一种基于标签分布学习的三维手部姿态估计方法的步骤。