利索能及
我要发布
收藏
专利号: 2023111823800
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向二维数据的人体三维重建方法,其特征在于,包括如下步骤:步骤1,获取视频中的人体关键点二维坐标;

步骤2,根据人体模型库中的人体模型或创建一个人体模型,确定人体模型的坐标系;

所述步骤2中,在Blender中确定人体模型的坐标系,具体为:首先使用Blender的导入功能,将人体模型加载到Blender的场景中;然后使用Blender的移动、旋转和缩放工具调整人体模型的位置和比例,使得调整后的人体模型适合步骤1的视频场景和坐标系的参考;最后在人体模型上创建骨骼系统,使用骨骼约束和关节控制器模拟人体的骨骼结构和关节运动;

步骤3,利用transform深度学习模型学习4×4投影矩阵进行透视变换,将人体关键点二维坐标映射到三维空间中;

步骤4,设计transform深度学习模型的损失函数,使采用上述模型映射得到的三维坐标与实际坐标之间的误差最小,从而得到符合vrm格式的人体模型。

2.根据权利要求1所述的面向二维数据的人体三维重建方法,其特征在于,所述步骤1中,采用mediapipe作为人体关键点检测工具,利用mediapipe中的姿态估计模型获取视频中的人体关键点二维坐标,人体关键点包括脸部、手部和躯干关键点。

3.根据权利要求1所述的面向二维数据的人体三维重建方法,其特征在于,所述步骤3中,利用transform深度学习模型学习4×4投影矩阵,该4×4投影矩阵将人体关键点二维坐标映射到三维空间中,所述4×4投影矩阵包括平移变换矩阵、缩放变换矩阵和旋转变换矩阵;

根据步骤2确定的坐标系,将两肩的中间位置作为坐标系的原点,左肩到右肩的方向定义为X轴,肩膀到臀部的方向定义为Y轴,根据该坐标系将二维坐标转换为符合three.js,vector3的三维坐标;

平移变换矩阵的形式如下:

矩阵运算为:

其中,[x y 0 1]由二维坐标(x,y)拓展而来,Tx、Ty、Tz分别表示沿X轴、Y轴、Z轴方向平移的距离;

缩放变换矩阵的形式如下:

矩阵运算为:

其中,Sx、Sy、Sz分别表示沿X轴、Y轴、Z轴方向上缩放的大小;

沿X轴顺时针旋转变换矩阵的形式如下:

矩阵运算为:

其中,θx表示绕X轴顺时针旋转的角度;

沿Y轴顺时针旋转变换矩阵的形式如下:

矩阵运算为:

其中,θy表示绕Y轴顺时针旋转的角度;

沿Z轴顺时针旋转变换矩阵的形式如下:

矩阵运算为:

其中,θz表示绕Z轴顺时针旋转的角度。

4.根据权利要求1所述的面向二维数据的人体三维重建方法,其特征在于,所述步骤4中,利用transform的自注意力机制强化对人体结构关键点位的学习,使采用transform深度学习模型映射得到的三维坐标与实际坐标之间的误差最小,模型的损失函数为:其中,表示损失函数,α、β分别表示3D坐标和2D坐标损失函数的权重, 表示3D人体模型顶点损失, 表示3D人体模型关键顶点损失, 表示3D人体模型关键顶点回归损失,表示2D关键点投影损失,V3D表示3D人体模型顶点的训练值, 表示3D人体模型顶点的真实三维坐标,J3D表示3D人体模型关键顶点的训练值, 表示3D人体模型关键顶点的真实三维坐标, 表示关键顶点的回归值, G为回归矩阵,J2D表示2D人体模型关键顶点的训练值, 表示3D人体模型关键顶点的真实二维坐标,M表示顶点的个数,K表示一个人的关节数,||·||1表示L1范数。

5.一种计算机设备,包括存储器、处理器,以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的面向二维数据的人体三维重建方法的步骤。

6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的面向二维数据的人体三维重建方法的步骤。