利索能及
我要发布
收藏
专利号: 2021106701166
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维人脸重建方法,包括:

获取目标二维人脸图像;

对所述目标二维人脸图像进行人脸分割,得到第一人脸掩膜图像;

利用预设的参数化人脸模型,确定三维空间变换函数;利用所述三维空间变换函数,对所述第一人脸掩膜图像进行空间转换,得到第二人脸掩膜图像;

对所述目标二维人脸图像进行纹理采样,得到三维空间中的人脸纹理图像;根据所述第二人脸掩膜图像以及所述人脸纹理图像,确定第一纹理图像;

根据所述参数化人脸模型,确定第二纹理图像;融合所述第一纹理图像和所述第二纹理图像,得到融合纹理图像;对所述融合纹理图像进行渲染,得到所述目标二维人脸图像对应的三维人脸模型。

2.根据权利要求1所述的方法,其中,所述对所述目标二维人脸图像进行纹理采样,得到三维空间中的人脸纹理图像,包括:根据所述目标二维人脸图像以及预先训练的三维人脸重建模型,确定人脸参数,所述三维人脸重建模型用于表征人脸图像与人脸参数的对应关系;

根据所述人脸参数以及所述参数化人脸模型,确定初始三维人脸模型;

将所述初始三维人脸模型投影到图像坐标系,得到投影图;

根据预先设置的UV空间的纹理坐标对所述投影图进行纹理采样,得到所述人脸纹理图像。

3.根据权利要求2所述的方法,其中,所述三维人脸重建模型通过以下步骤训练得到:获取训练样本集合,所述训练样本集合中的各训练样本包括样本人脸图像以及对应的参数;

将各训练样本中的样本人脸图像作为输入,将输出的参数作为预先获取的参数化人脸模型的参数,得到三维人脸模型;

对所述三维人脸模型进行渲染,得到与输入的样本人脸图像对应的二维图像;

根据所述样本人脸图像以及所述二维图像,调整所述三维人脸重建模型的参数。

4.根据权利要求1所述的方法,其中,所述对所述融合纹理图像进行渲染,得到所述目标二维人脸图像对应的三维人脸模型,包括:根据所述目标二维人脸图像,对所述融合纹理图像进行肤色调整,得到调整后图像;

对所述调整后图像进行渲染,得到所述目标二维人脸图像对应的三维人脸模型。

5.根据权利要求1所述的方法,其中,所述对所述目标二维人脸图像进行人脸分割,得到第一人脸掩膜图像,包括:利用预先训练的人脸分割模型对所述目标二维人脸图像进行人脸分割,得到第一人脸掩膜图像。

6.一种三维人脸重建装置,包括:

图像获取单元,被配置成获取目标二维人脸图像;

人脸分割单元,被配置成对所述目标二维人脸图像进行人脸分割,得到第一人脸掩膜图像;

掩膜转换单元,被配置成利用预设的参数化人脸模型,确定三维空间变换函数;利用所述三维空间变换函数,对所述第一人脸掩膜图像进行空间转换,得到第二人脸掩膜图像;

纹理确定单元,被配置成对所述目标二维人脸图像进行纹理采样,得到三维空间中的人脸纹理图像;根据所述第二人脸掩膜图像以及所述人脸纹理图像,确定第一纹理图像;

人脸重建单元,被配置成根据所述参数化人脸模型,确定第二纹理图像;融合所述第一纹理图像和所述第二纹理图像,得到融合纹理图像;对所述融合纹理图像进行渲染,得到所述目标二维人脸图像对应的三维人脸模型。

7.根据权利要求6所述的装置,其中,所述纹理确定单元进一步被配置成:根据所述目标二维人脸图像以及预先训练的三维人脸重建模型,确定人脸参数,所述三维人脸重建模型用于表征人脸图像与人脸参数的对应关系;

根据所述人脸参数以及所述参数化人脸模型,确定初始三维人脸模型;

将所述初始三维人脸模型投影到图像坐标系,得到投影图;

根据预先设置的UV空间的纹理坐标对所述投影图进行纹理采样,得到所述人脸纹理图像。

8.根据权利要求7所述的装置,其中,所述装置还包括模型训练单元,被配置成通过以下训练步骤训练得到所述三维人脸重建模型:获取训练样本集合,所述训练样本集合中的各训练样本包括样本人脸图像以及对应的参数;

将各训练样本中的样本人脸图像作为输入,将输出的参数作为预先获取的参数化人脸模型的参数,得到三维人脸模型;

对所述三维人脸模型进行渲染,得到与输入的样本人脸图像对应的二维图像;

根据所述样本人脸图像以及所述二维图像,调整所述三维人脸重建模型的参数。

9.根据权利要求6所述的装置,其中,所述人脸重建单元进一步被配置成:根据所述目标二维人脸图像,对所述融合纹理图像进行肤色调整,得到调整后图像;

对所述调整后图像进行渲染,得到所述目标二维人脸图像对应的三维人脸模型。

10.根据权利要求6所述的装置,其中,所述人脸分割单元进一步被配置成:利用预先训练的人脸分割模型对所述目标二维人脸图像进行人脸分割,得到第一人脸掩膜图像。

11.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑5中任一项所述的方法。