利索能及
我要发布
收藏
专利号: 2021115269788
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于单视图三维重建的人脸blendshape生成方法,其特征在于,包括如下步骤:利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络;

在训练所得网络中输入一张中性人脸图片以及多张表情图片,进而取得多个三维人脸模型作为源模型集;

在训练所得网络中输入意图生成blendshape的人脸图片,生成目标模型;

利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集;

将所述目标模型集导入主流三维动画软件中合成blendshape。

2.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络包括如下子步骤:对数据集进行增广;

对数据集进行预处理;

设计编码器解码器网络结构;

设计损失函数进行网络训练。

3.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括:对所述数据集数据进行预处理,并生成UV位置图。

4.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括如下子步骤:设计编码器‑解码器结构网络;

将二维人脸图像输入编码器,提取此图像区域特征;

经过解码器,得到人脸UV位置图参数。

5.根据权利要求4所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括:设计损失函数,损失函数如下:

其中,P(x,y)为输入图片经过编码器‑解码器结构网络后的输出结果, 为预处理所得到的UV位置图ground truth,W(x,y)为权重遮罩。

6.根据权利要求5所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中,包括:将增广所得人脸图像以及预处理所得UV位置图传入编码器‑解码器结构网络中进行训练;人脸图像作为输入,预处理所得UV位置图作为ground truth,使用所述损失函数计算训练损失值,不断迭代进行模型训练。

7.根据权利要求6所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络包括:编码器‑解码器结构网络包含编码器模块和解码器模块,所述编码器模块使用ResNeSt网络;编码器内部包括1个单卷积层,8个split attention模块;每个所述split attention模块可包含1×1卷积层、2×2平均池化层、SplitAttention卷积层以及BatchNormal层;解码器模块包含若干上采样层。

8.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集中,包括:所述三角网格形变传递基于仿射变换,对源模型三角网格进行形变,通过源模型与目标模型的对应关系传递该形变变换,且对于一个目标模型顶点集的仿射变换集合T1+d1…T|T|+d|T|需满足 实现一致性约束,其中,T是目标网格的三角形索引集合,T和d分别是仿射变换的非平移部分和平移矢量,p(vi)是共享顶点的所有三角形集合,在此基础上形变传递目标仿射变换的约束优化问题公式为

9.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集中,包括:求解源模型三角网格索引集合与目标模型索引集合对应关系使用定点位置重构上述约束优化公式,源模型未变形和变形后顶点分别用υi和 表示,其中i∈1...3,对于目标模型的每个三角网格增加一个顶点作为第四个未变形点:仿射变换的非平移部分用未变形和变形的顶点组合表示为 将已知的未变形顶点作为常量,T作为未知变形顶点的线性组合,可得公式: 其中c是包含源变换S的向量,是未知变形顶点坐标的向量,A是 映射到c的稀疏矩阵。将目标函数梯度设为0可得正规方程 其中A是只依赖与未变型网格的顶点位置,列对应未知变形目标顶点,列数为目标网络顶点数量和三角网格数量之和。

10.根据权利要求1所述的基于单视图三维重建的人脸blendshape生成方法,其特征在于,所述步骤利用三角网格形变传递方法和基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,将所述源模型集中的自然表情到多个非自然表情的形变根据对应的关键点传递到目标模型上,生成目标模型集中,包括:通过基于深度学习重建人脸时所得人脸的68个人脸关键点位置实现自动化形变传递,所述步骤利用基于深度学习的单视图三维人脸重建方法,并利用现有数据集,训练从单张RGB人脸图片恢复出人脸三维结构的网络中的人脸重建网络回归所得UV位置图将每个像素的位置以RGB形式存储相应xyz坐标,因此可直接利用68个人脸特征点位置通过迭代最近点方法计算源模型集到目标模型的映射。