利索能及
我要发布
收藏
专利号: 2021100679883
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的三维人体姿态估计方法,其特征在于:包括图像获取模块获取图像及二维关节提取模块对获取的图像进行二维关节提取得到二维关节;

利用关节点变换模块对二维关节提取模块获取的二维关节进行关节点变换;

利用三维关节提取模块和三维关节预训练模块对关节点变换模块执行关节点变换后的二维关节进行联合深度学习训练并估计三维人体姿态;

所述利用关节点变换模块对二维关节提取模块获取的二维关节进行关节点变换包括执行二维关节点的关节适应性变换单元对二维关节提取模块获取的二维关节进行关节点变换,得到关节点变换后的二维变换后最小单元;

利用二维关节更新模块对二维变换后最小单元进行更新得到更新后二维变换后最小单元,并得到二维变换关节点;

根据二维变换关节点利用三维关节预训练模块预测,得到三维姿态变换后最小单元;

将变换前三维姿态groundtruth和三维姿态变换后最小单元进行姿态调整得到三维变换关节点;

将二维变换关节点输入至三维关节提取模块,以三维变换关节点执行Loss监督,记为Loss1,得到三维人体姿态;

所述执行二维关节点的关节适应性变换单元对二维关节提取模块获取的二维关节进行关节点变换,得到关节点变换后的二维变换后最小单元包括获取二维关节点个数和对应关节点位置;

将二维关节点个数和对应关节点位置合成为二维变换前最小单元,对二维变换前最小单元进行旋转以及尺度变换学习,得到关节适应性变换单元;

将二维变换前最小单元输入关节适应性变换单元,得到二维变换后最小单元;

并对二维变换后最小单元以二维变换前最小单元执行Loss监督,记为Loss2d;

所述将二维变换前最小单元输入关节适应性变换单元,得到二维变换后最小单元包括将二维关节点个数和对应关节点位置合并,对其做卷积和线性变换,得到关节适应性变换单元的控制参数个数;

将关节适应性变换单元的控制参数分别作为旋转、尺度变换的学习参数;

将学习到的旋转、尺度对二维变换前最小单元中的二维关节坐标进行位置转换,得到二维变换后最小单元;

所述关节适应性变换单元包括卷积预测层、线性对齐层和参数合并层;

其中,所述卷积预测层将二维关节点个数和对应关节点位置进行卷积操作,获取二维关节点的空间位置关联信息;所述线性对齐层将二维关节点的空间位置关联信息进行线性规整输出,获取二维关节个数与预测参数个数对齐,得到旋转和尺度的学习参数;所述参数合并层将二维关节点旋转、尺度的学习参数构建旋转角和尺度特征,得到关节适应性变换单元;

其中,损失函数设计与二维关节的数据格式适配,loss2d和loss2以二维变换前最小单元为监督参考对象,在进行关节适应性变换单元和二维关节点更新单元的计算过程中都以此为监督,实现变换和更新后的二维关节都在训练过程中逼近二维变换前最小单元,通过二维变换前最小单元来得到变换参数,又将二维变换前最小单元作为监督数据,让增强后的数据可以继承原图像二维关节的关系,得到符合训练要求的二维变换关节点;在loss3和loss1的监督训练下,使得三维人体姿态的学习能以变换前三维姿态groundtruth为基准,得到与原本变换前三维姿态groundtruth相类似的监督数据;

在loss2d和loss2监督下得到的二维变换关节点是与原二维变换前最小单元的类似姿态,在loss3监督下,通过三维关节预训练模块模拟出符合条件的三维变换关节点,再由loss1监督,训练所述三维关节提取模块,保证loss2d、loss2、loss3的下降速度,实现整体梯度回传反馈;

在监督训练过程中,所述三维关节预训练模块内部参数不变。

2.根据权利要求1所述的一种基于深度学习的三维人体姿态估计方法,其特征在于:所述利用二维关节更新模块对二维变换后最小单元进行更新,得到更新后二维变换后最小单元,并得到二维变换关节点包括:

获取二维变换后最小单元;

根据所述图像获取模块获取的图像帧数,将二维变换后最小单元与二维变换前最小单元进行随机帧数混合,得到帧数混合后的二维变换后最小单元;

将二维变换前最小单元与帧数混合后的二维变换后最小单元进行LOSS监督,记为Loss2;得到更新后二维变换后最小单元;

对更新后二维变换后最小单元的二维关节点个数和对应关节点位置进行拆解,得到二维变换关节点。

3.根据权利要求2所述的一种基于深度学习的三维人体姿态估计方法,其特征在于:所述将变换前三维姿态groundtruth和三维姿态变换后最小单元进行姿态调整得到三维变换关节点包括

将二维变换关节点输入三维关节预训练模块得到三维姿态变换后最小单元;

对三维姿态变换后最小单元与变换前三维姿态groundtruth进行LOSS求解,记为Loss3;

得到三维变换关节点。

4.根据权利要求1所述的一种基于深度学习的三维人体姿态估计方法,其特征在于:所述二维关节点旋转、尺度的学习参数为3,其中,2个参数用于构建旋转角特征,1个参数用于构建尺度特征,构建后的关节适应性变换单元与输入图像的批量输入维度和帧数维度大小一致,且对二维关节变换前最小单元的二维关节的坐标进行位置直接转换得到二维关节变化后最小单元。

5.根据权利要求1‑4中任一所述的一种基于深度学习的三维人体姿态估计方法,其特征在于:所述图像获取模块获取图像的序列为视频序列连续帧。

6.一种基于深度学习的三维人体姿态估计系统,其特征在于:包括图像获取模块,对视频序列进行连续帧图像获取;

二维关节提取模块,所述二维关节提取模块对连续帧图像中的二维关节点进行提取;

关节点变换模块,所述关节点变换模块包括关节适应性变换单元和二维关节点更新单元;

将所述二维关节提取模块对连续帧图像中的二维关节点个数和对应关节点位置合成为二维变换前最小单元;

经过二维变换前最小单元的参数学习得到所述关节适应性变换单元,利用关节适应性变换单元将二维变换前最小单元变换为二维关节变换后最小单元,其中,以二维变换前最小单元执行Loss监督,记为Loss2d;

根据每次训练输入的图像帧数,将二维变换后最小单元与二维变换前最小单元进行随机帧数混合,构建为二维关节点更新单元,得到帧数混合后的二维变换后最小单元;将二维变换前最小单元与帧数混合后的二维变换后最小单元进行LOSS监督,记为Loss2,利用二维关节点更新单元对二维关节变换后最小单元进行更新,得到更新后二维变换后最小单元;

对更新后二维变换后最小单元的二维关节点个数和对应关节点位置进行拆解,得到二维变换关节点;

三维关节预训练模块,所述三维关节预训练模块为预先训练好的三维关节提取神经网络模型,利用三维关节预训练模块对二维变换关节点进行预测,得到三维姿态变换后最小单元,将三维姿态变换后最小单元与变换前三维姿态的groundtruth进行监督学习,记为Loss3,得到三维变换关节点;

三维关节提取模块,输入二维变换关节点至三维关节提取模块进行训练,以三维变换关节点为监督信号,记为Loss1;

通过Loss1、Loss2、Loss3、Loss2d进行联合监督训练,得到三维人体姿态。