利索能及
我要发布
收藏
专利号: 2021111031802
申请人: 成都市谛视科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种骨骼动画顶点矫正模型的学习方法,其特征在于,包括:S11:采集不同人的包括T型姿态的各种动作的全身影像和姿态数据,生成具有N个顶点的标准3D网格模型和T型姿态3D网格模型,获取标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式Pm、标准3D网格模型的N个顶点坐标Gr、T型姿态3D网格模型的N个顶点坐标T,N为正整数,包括:S111:通过摄像头矩阵采集不同人的包括T型姿态的各种动作的全身影像,同时通过动捕设备同步采集姿态数据;S112:根据不同人的包括T型姿态的各种动作的全身影像,通过立体视觉匹配方法建立3D点云模型,结合几何约束和图像投影约束方法对得到的3D点云模型进行注册对齐生成拥有固定顶点数N的标准3D网格模型和T型姿态3D网格模型;S113:以人的骨盆点为坐标原点建立坐标系,对标准3D网格模型做数据归一化后得到标准3D网格模型的N个顶点坐标Gr,对T型姿态3D网格模型做数据归一化后得到T型姿态3D网格模型N个顶点坐标T;S114:将采集的姿态数据与标准3D网格模型建立一一匹配关系,得到标准3D网格模型的姿态数据轴角形式P,将标准3D网格模型的姿态数据轴角形式P转换为旋转矩阵形式Pm;

S12:将T型姿态3D网格模型进行关节骨骼绑定,得到T型姿态3D网格模型的n个关节点坐标J,n为正整数;

S13:构建关节位置预测模型Joint_net,关节位置预测模型的输出维度与T型姿态3D模型的n个关节点坐标维度相同,将T型姿态3D网格模型的N个顶点坐标T作为关节位置预测模型的输入、T型姿态3D网格模型的n个关节点坐标J作为训练关节位置预测模型的标签对关节位置预测模型进行训练,得到训练好的关节位置预测模型;

S14:构建姿态回归网络模型Pose_net,姿态回归网络模型的输出维度与标准3D网格模型的N个顶点坐标维度相同,姿态回归网络模型的输入为标准3D网格模型的姿态数据旋转矩阵形式Pm,结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型,将标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式Pm和T型姿态3D网格模型的N个顶点坐标T作为骨骼动画顶点矫正模型的输入、标准3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练,得到训练好的骨骼动画顶点矫正模型。

2.根据权利要求1所述的骨骼动画顶点矫正模型的学习方法,其特征在于,所述S13包括:

S131:构建关节位置预测模型Joint_net,关节位置预测模型的输入数据维度为N*3,输出数据维度为n*3;

S132:将T型姿态3D网格模型的N个顶点坐标T转为N*3的张量作为关节位置预测模型的输入,将T型姿态3D网格模型的n个关节点坐标J转为n*3的张量作为训练关节位置预测模型的标签对关节位置预测模型进行训练;

S133:采用均方损失函数优化关节位置预测模型,关节位置预测模型的输出为Jpre ,均方损失计算公式为: ,其中loss表示均方损失,J[i]表示第i个关节点的真实坐标构成的向量,Jpre[i]表示关节位置预测模型预测输出的第i个关节点的坐标构成的向量,最终得到训练好的关节位置预测模型J=Joint_net(T)。

3.根据权利要求1所述的骨骼动画顶点矫正模型的学习方法,其特征在于,所述S14包括:

S141:构建姿态回归网络模型Pose_net,姿态回归网络模型的输入数据维度为n*3*3,输出数据维度为N*3;

S142:结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型 ,其中V表示骨骼动画顶点矫正模型预测输出的顶点坐标的集合,V=[v0, v1…, vN‑1],vi表示第i个顶点的坐标向量,LBS表示线形蒙皮函数,T表示T型姿态3D网格模型的顶点坐标,P、Pm分别表示标准3D网格模型的姿态数据轴角形式和旋转矩阵形式,Pose_net(Pm)表示对于每一个姿态Pm预测一个顶点矫正值,Joint_net(T)表示对于每个T型姿态预测出该人T型姿态下的n个关节点坐标,W表示线形蒙皮函数的权重,P*表示T型姿态的姿态数据,设置W为可导参数、Joint_net为不可导参数;

S143:将T型姿态3D网格模型的N个顶点坐标T转为张量Tin、标准3D网格模型的姿态数据P转为张量Pin、Pm转为张量Pmin作为骨骼动画顶点矫正模型的输入、标准3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练;

S144:采用包括计算标准3D网格模型顶点坐标差的损失和骨骼动画顶点矫正模型的权重W的损失的损失函数优化骨骼动画顶点矫正模型,计算标准3D网格模型顶点坐标差的损失的均方损失函数为: ,其中loss_v表示计算顶点坐标差的损失值,G[i]表示标准3D模型第i个顶点的坐标向量,V[i]表示骨骼动画顶点矫正模型预测的第i个顶点的坐标向量;计算骨骼动画顶点矫正模型的权重W的损失的损失函数为,其中loss_w表示蒙皮权重损失值,wi,j表示蒙皮函数中第j个关节对第i个顶点的作用权重,合并后的损失函数为: ,其中loss表示骨骼动画顶点矫正模型的总损失值,表示3D网格模型顶点坐标差的损失所占得权重,最终得到训练好的骨骼动画顶点矫正模型。

4.一种骨骼动画顶点矫正方法,其特征在于,包括:获取人体的姿态数据和T型姿态3D网格模型;

将人体的姿态数据和T型姿态3D网格模型输入训练好的骨骼动画顶点矫正模型,得到该姿态下人体的标准3D网格模型的N个顶点坐标;

其中骨骼动画顶点矫正模型采用权利要求1‑3中任一项所述的骨骼动画顶点矫正模型的学习方法进行训练。

5.一种骨骼动画顶点矫正模型的学习装置,其特征在于,包括:训练数据获取模块(31),用于采集不同人的包括T型姿态的各种动作的全身影像和姿态数据,生成具有N个顶点的标准3D网格模型和T型姿态3D网格模型,获取标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式Pm、标准3D网格模型的N个顶点坐标Gr、T型姿态3D网格模型的N个顶点坐标T,N为正整数,其中,所述训练数据获取模块(31)包括:人体数据采集单元,用于通过摄像头矩阵采集不同人的包括T型姿态的各种动作的全身影像,同时通过动捕设备同步采集姿态数据;3D模型获取单元,用于根据不同人的包括T型姿态的各种动作的全身影像,通过立体视觉匹配方法建立3D点云模型,结合几何约束和图像投影约束方法对得到的3D点云模型进行注册对齐生成拥有固定顶点数N的标准

3D网格模型和T型姿态3D网格模型;顶点坐标获取单元,用于以人的骨盆点为坐标原点建立坐标系,对标准3D网格模型做数据归一化后得到标准3D网格模型的N个顶点坐标Gr,Gr=[g0,g1,g2,…g(N‑1)],gi表示标准3D网格模型每个顶点3维坐标值,对T型姿态3D网格模型做数据归一化后得到T型姿态3D网格模型N个顶点坐标T,T=[t0,t1,t2,…t(N‑1)] ,ti表示T型姿态3D网格模型每个顶点3维坐标值;姿态数据匹配单元,用于将采集的姿态数据与标准3D网格模型建立一一匹配关系,得到标准3D网格模型的姿态数据轴角形式P,将标准3D网格模型的姿态数据的轴角形式P转换为旋转矩阵形式Pm;

关节数据获取模块(32),用于将T型姿态3D网格模型进行关节骨骼绑定,得到T型姿态

3D网格模型的n个关节点坐标J,n为正整数;

关节模型获取模块(33),用于构建关节位置预测模型Joint_net,关节位置预测模型的输出维度与T型姿态3D模型的n个关节点坐标维度相同,将T型姿态3D网格模型的N个顶点坐标T作为关节位置预测模型的输入、T型姿态3D网格模型的n个关节点坐标J作为训练关节位置预测模型的标签对关节位置预测模型进行训练,得到训练好的关节位置预测模型;

顶点模型获取模块(34),用于构建姿态回归网络模型Pose_net,姿态回归网络模型的输出维度与标准3D网格模型的N个顶点坐标维度相同,姿态回归网络模型的输入为标准3D网格模型的姿态数据旋转矩阵形式Pm,结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型,将标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式Pm和T型姿态3D网格模型的N个顶点坐标T作为骨骼动画顶点矫正模型的输入、标准3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练,得到训练好的骨骼动画顶点矫正模型。

6.根据权利要求5所述的骨骼动画顶点矫正模型的学习装置,其特征在于,所述关节模型获取模块(33)包括:

关节模型构建单元,用于构建关节位置预测模型Joint_net,关节位置预测模型的输入数据维度为N*3,输出数据维度为n*3;

关节模型训练单元,用于将T型姿态3D网格模型的N个顶点坐标T转为N*3的张量作为关节位置预测模型的输入,将T型姿态3D网格模型的n个关节点坐标J转为n*3的张量作为训练关节位置预测模型的标签对关节位置预测模型进行训练;

关节模型优化单元,用于采用均方损失函数优化关节位置预测模型,关节位置预测模型的输出为Jpre ,均方损失计算公式为: ,其中loss表示均方损失,J[i]表示第i个关节点的真实坐标构成的向量,Jpre[i]表示关节位置预测模型预测输出的第i个关节点的坐标构成的向量,最终得到训练好的关节位置预测模型J=Joint_net(T)。

7.根据权利要求5所述的骨骼动画顶点矫正模型的学习装置,其特征在于,所述顶点模型获取模块(34)包括:

姿态模型构建单元,用于构建姿态回归网络模型Pose_net,姿态回归网络模型的输入数据维度为n*3*3,输出数据维度为N*3;

顶点模型构建单元,用于结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型 ,其中V表示骨骼动画顶点矫正模型预测输出的顶点坐标的集合,V=[v0, v1…, vN‑1],vi表示第i个顶点的坐标向量,LBS表示线形蒙皮函数,T表示T型姿态3D网格模型的顶点坐标,P、Pm分别表示标准3D网格模型的姿态数据的轴角形式和旋转矩阵形式,Pose_net(Pm)表示对于每一个姿态Pm预测一个顶点矫正值,Joint_net(T)表示对于每个T型姿态预测出该人T型姿态下的n个关节点坐标,W表示线形蒙皮函数的权重,P*表示T型姿态的姿态数据,设置W为可导参数、Joint_net为不可导参数;

顶点模型训练单元,用于将T型姿态3D网格模型的N个顶点坐标T转为张量Tin、标准3D网格模型的姿态数据P转为张量Pin、Pm转为张量Pmin作为骨骼动画顶点矫正模型的输入、标准

3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练;

顶点模型优化单元,用于采用包括计算标准3D网格模型顶点坐标差的损失和骨骼动画顶点矫正模型的权重W的损失的损失函数优化骨骼动画顶点矫正模型,计算标准3D网格模型顶点坐标差的损失的均方损失函数为: ,其中loss_v表示计算顶点坐标差的损失值,G[i]表示标准3D模型第i个顶点的坐标向量,V[i]表示骨骼动画顶点矫正模型预测的第i个顶点的坐标向量;计算骨骼动画顶点矫正模型的权重W的损失的损失函数为,其中loss_w表示蒙皮权重损失值,wi,j表示蒙皮函数中第j个关节对第i个顶点的作用权重,合并后的损失函数为: ,其中loss表示骨骼动画顶点矫正模型的总损失值,表示3D网格模型顶点坐标差的损失所占得权重,最终得到训练好的骨骼动画顶点矫正模型。

8.一种计算机设备,其特征在于,包括:存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序以实现如权利要求1至4中任一项所述骨骼动画顶点矫正模型的学习方法的步骤。