利索能及
我要发布
收藏
专利号: 2022102092055
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多任务学习的人体点云骨架提取方法,其特征在于,该方法具体包括以下步骤:

S1:通过PointCNN网络提取3D人体点云每一个表面点云特征,然后通过多层感知机MLP对每个点进行二分类,得到歧义点云和非歧义点云,消除歧义点云,取非歧义点云作为感兴趣点云;

S2:将感兴趣点云输入到PointCNN网络提取每一点特征,采用多任务学习的方式,同时预测点的偏移向量以及人体部位分割,结合预测的偏移向量以及部位得到预测的关节点集合;

S3:计算点的密度作为一个点的质量度量,剔除关节点预测值集合中的低质量预测;

S4:对筛选后的高质量的预测点使用DBSCAN聚类方法,得到每个部位关节点坐标预测值;

S5:根据关节点的预测语义信息,将所有关节点连接为3D人体骨架;

S6:根据人体结构的先验知识,检查并修复3D人体骨架中的错误。

2.根据权利要求1所述的人体点云骨架提取方法,其特征在于,步骤S1中,消除歧义点云,具体包括:首先将归一化后的人体点云模型输入到第一阶段子网络,该子网络使用PointCNN中的x‑conv和x‑deconv算子学习每个表面点的128维特征;然后将128维特征输入到MLP,并使用softmax激活函数,得到每个点为歧义点的概率p,将概率p大于0.5的点标记为歧义点并将其剔除,得到感兴趣点云。

3.根据权利要求1所述的人体点云骨架提取方法,其特征在于,步骤S2具体包括:多任务学习部位分割与偏移向量偏移,其中以感兴趣点云为第二阶段子网络的输入,该子网络使用PointCNN中的x‑conv和x‑deconv算子重新习得每个表面点的192维特征,将学习得到的192维特征用于两个方面:(1)用于人体部位分割,将192维特征输入MLP,并使用softmax激活函数,得到每个点属于每个关节部位的概率,将概率最大的对应的部位预测为该点所属的关节部位;

(2)用于偏移向量预测,将192维特征输入多层感知机MLP,输出每个表面点到对应关节点的偏移向量预测值,将偏移向量分解为单位向量unit与模长length两个子任务进行学习,两者相乘得到偏移向量,然后将每个表面点沿着偏移向量预测值收缩,得到一个关节点位置预测值,最终将感兴趣点云转化为关节点预测值集合。

4.根据权利要求3所述的人体点云骨架提取方法,其特征在于,步骤S2中,在偏移向量预测时,将偏移向量分解为单位向量unit与模长length两个子任务同时进行学习,并采用自适应权重来对多任务损失进行优化,计算公式如下:Ltotal=Loffset+Lseg   (1)

其中,Ltotal是总损失函数,Loffset是偏移向量损失函数,Lseg是部位分割损失函数;而Loffset、Lseg计算分别如下:其中,σ1、σ2、σ3是权重参数,Llength为模长损失函数,Lunit为单位向量损失函数;公式(3)中,等式左边Lseg为多任务优化后的部位分割损失函数,等式右边的Lseg为原始未进行多任务优化的部位分割损失函数。

5.根据权利要求3所述的人体点云骨架提取方法,其特征在于,步骤S3中,剔除关节点预测值集合中的低质量预测,具体包括:对于步骤S2中的关节点预测值jpre,预测类别为A,即 中每个点计算密度ρi,ρi是以点pi为球心ri为半径所包含的点数量与A类别的点数量的比例;计算出所有点的密度后进行降序,筛选出密度前60%作为A类别的高质量关节点云。

6.根据权利要求1所述的人体点云骨架提取方法,其特征在于,步骤S4中,对筛选后的每一个部位类别的高质量预测点使用DBSCAN聚类方法,得到每个部位关节点坐标预测值,具体方法为:如果某部位类别点云只聚成一簇,则直接取该簇的质心作为部位的关节点坐标预测值;如果聚簇数大于1时,取簇中点数量最多一簇的质心作为该部位类别的关节点坐标预测值,其余簇的质心作为候选关节点保存到该部位类别的候选点列表中。

7.根据权利要求1所述的人体点云骨架提取方法,其特征在于,步骤S5具体包括:将关节点坐标预测值语义以及语义之间的连接关系进行连接,得到3D人体点云骨架。

8.根据权利要求1所述的人体点云骨架提取方法,其特征在于,步骤S6具体包括:根据人体结构的先验知识,通过增加三个约束条件来对骨架中的潜在错误进行检查和修正;其中,三个约束条件为:(1)对称肢体长度相同;

(2)肢体长度应该在合适的范围内;

(3)肢体与肢体角度是否在合适范围内。