1.一种人脸图像生成方法,其特征在于,包括:获取法向量图像、以及纹理特征数据;其中,所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值;
对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理,得到重构人脸图像。
2.根据权利要求1所述的人脸图像生成方法,其特征在于,所述对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理,得到重构人脸图像,包括:对所述纹理特征数据进行特征变换,得到所述多级数据融合处理分别对应的变换纹理特征数据;
针对所述多级数据融合处理中的每级数据融合处理,将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合,得到该级数据融合处理的中间特征图;
对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合,得到该级数据融合处理对应的结果特征图;
基于最后一级数据融合处理对应结果特征图,得到所述重构人脸图像。
3.根据权利要求2所述的人脸图像生成方法,其特征在于,所述对所述纹理特征数据进行特征变换,得到多级数据融合处理分别对应的变换纹理特征数据,包括:对所述纹理特征数据进行第一全连接处理,得到第一中间纹理特征数据;
对所述第一中间纹理特征数据进行多次第二全连接处理,得到所述多级数据融合处理分别对应的变换纹理特征数据;其中,不同第二全连接处理的全连接参数不同。
4.根据权利要求2或3所述的人脸图像生成方法,其特征在于,所述针对所述多级数据融合处理中的每级数据融合处理,将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合,得到该级数据融合处理的中间特征图之前,还包括:
针对该级数据融合处理为第一级数据融合处理的情况,对预设特征图进行上采样,得到该级数据融合处理对应的输入特征图;
针对该级数据融合处理为非第一级数据融合处理的情况,对该级数据融合处理的上一级数据融合处理输出的结果特征图进行上采样,得到该级数据融合处理对应的输入特征图。
5.根据权利要求2‑4任一项所述的人脸图像生成方法,其特征在于,所述针对所述多级数据融合处理中的每级数据融合处理,将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合,得到该级数据融合处理的中间特征图,包括:
针对所述多级数据融合处理中的每级数据融合处理,利用该级数据融合处理对应的变换纹理特征数据,对该级融合处理对应的卷积核进行变换,得到变换卷积核;
利用所述变换卷积核对所述输入特征图进行卷积处理,得到该级数据融合处理的中间特征图。
6.根据权利要求2‑5任一项所述的人脸图像生成方法,其特征在于,所述针对所述多级数据融合处理中的每级数据融合处理,将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合,得到该级数据融合处理的中间特征图,包括:
针对所述多级数据融合处理中的每级数据融合处理,利用该级数据融合处理对应的变换纹理特征数据,对该级融合处理对应的输入特征图进行变换,得到变换特征图;
利用该级数据融合处理对应的卷积核,对所述变换特征图进行卷积处理,得到该级数据融合处理对应的中间特征图。
7.根据权利要求2‑6任一项所述的人脸图像生成方法,其特征在于,所述对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合,得到该级数据融合处理对应的结果特征图,包括:
确定该级数据融合处理的中间特征图、以及所述法向量图像的乘积结果矩阵;
基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图。
8.根据权利要求7所述的人脸图像生成方法,其特征在于,所述基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图,包括:基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵,得到该级数据融合处理对应的结果特征图。
9.根据权利要求8所述的人脸图像生成方法,其特征在于,所述基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵,得到该级数据融合处理对应的结果特征图,包括:将该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵进行对位相加,得到该级数据融合处理对应的结果特征图。
10.根据权利要求1‑9任一项所述的人脸图像生成方法,其特征在于,所述人脸图像生成方法通过预先训练好的第一目标神经网络实现。
11.根据权利要求10所述的人脸图像生成方法,其特征在于,采用下述方式得到所述第一目标神经网络:
获取第一样本三维人脸模型的第一样本法向量图像、以及第一样本纹理特征数据;
利用待训练的第一神经网络,对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理,得到所述第一样本三维人脸模型的重建图像;
基于所述重建图像,获取第一训练损失,并利用所述第一训练损失,训练所述待训练的第一神经网络,得到所述第一目标神经网络。
12.根据权利要求11所述的人脸图像生成方法,其特征在于,所述第一训练损失包括下述至少一种:法向量一致性损失、人脸关键点一致性损失、身份一致性损失以及对抗损失。
13.根据权利要求12所述的人脸图像生成方法,其特征在于,所述第一训练损失包括法向量一致性损失,所述基于所述重建图像,获取第一训练损失,包括:对所述重建图像进行法向量预测处理,得到所述重建图像的预测法向量图像;
利用所述第一样本法向量图像、和所述预测法向量图像,得到所述法向量一致性损失。
14.根据权利要求12或13所述的人脸图像生成方法,其特征在于,所述第一训练损失包括关键点一致性损失,所述第一样本纹理特征数据包括:第一样本纹理特征数据以及第二样本纹理特征数据;所述重建图像,包括基于所述第一样本纹理特征数据得到的第一重建图像、以及基于所述第二样本纹理特征数据得到的第二重建图像;
所述基于所述重建图像,获取第一训练损失,包括:对所述第一重建图像进行关键点识别,得到所述第一重建图像的第一关键点;
基于所述第二重建图像进行关键点识别,得到所述第二重建图像的第二关键点;
利用所述第一关键点和所述第二关键点,得到所述关键点一致性损失。
15.根据权利要求12‑14任一项所述的人脸图像生成方法,其特征在于,所述第一训练损失包括身份一致性损失,所述第一样本三维人脸模型的第一样本法向量图像包括:第一样本法向量图像、以及第二样本法向量图像;所述第一样本法向量图像和所述第二样本法向量图像对应的人脸表情和/或人脸位姿不同;
所述利用待训练的第一神经网络,对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理,得到所述第一样本三维人脸模型进行重建生成的重建图像,包括:
利用所述待训练的第一神经网络,对所述第一样本法向量图像和所述第一样本纹理特征数据进行数据融合处理,得到所述第一样本三维人脸模型的第三重建图像;以及对利用所述待训练的第一神经网络,对所述第二样本法向量图像和所述第一样本纹理特征数据进行数据融合处理,得到所述第一样本三维人脸模型的第四重建图像;
所述基于所述重建图像,获取第一训练损失,包括:对所述第三重建图像进行身份识别,得到第一身份识别结果;以及对所述第四重建图像进行身份识别,得到第二身份识别结果;
基于所述第一身份识别结果和所述第二身份识别结果,得到所述身份一致性损失。
16.一种三维人脸模型生成方法,其特征在于,包括:对目标人脸图像进行三维人脸重建和纹理特征恢复,得到目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据;
基于所述初始法向量图像、以及所述初始纹理特征数据,得到所述目标人脸的三维人脸模型。
17.根据权利要求16所述的三维人脸模型生成方法,其特征在于,所述基于所述初始法向量图像、以及所述初始纹理特征数据,得到所述目标人脸的三维人脸模型,包括:将所述初始法向量图像作为当前法向量图像、以及将所述初始纹理特征数据作为当前纹理特征数据,
基于所述当前法向量图像、以及所述当前纹理特征数据,生成当前重构人脸图像;
基于所述目标人脸图像、以及所述当前重构人脸图像,对所述当前法向量图像进行调整,得到所述目标人脸的目标法向量图像;
基于所述目标法向量图像,生成所述目标人脸的三维人脸模型。
18.根据权利要求17所述的三维人脸模型生成方法,其特征在于,所述基于所述当前法向量图像、以及所述纹理特征数据,生成重构人脸图像,包括:将所述当前法向量图像作为法向量图像、以及将所述当前纹理特征数据作为纹理特征数据,利用权利要求1‑15任一项所述的人脸图像生成方法生成重构人脸图像;
将所述重构人脸图像作为基于所述当前法向量图像和所述当前重构人脸图像生成的所述当前重构人脸图像。
19.根据权利要求17或18所述的三维人脸模型生成方法,其特征在于,所述基于所述目标人脸图像、以及所述当前重构人脸图像,对所述当前法向量图像进行调整,得到所述目标人脸的目标法向量图像,包括:
执行下述迭代过程,直至所述第二损失小于预设的损失阈值:基于所述目标人脸图像、以及所述当前重构人脸图像,得到第二损失;
利用所述第二损失对所述当前法向量图像、以及所述当前纹理特征数据进行调整得到新的法向量图像、以及新的纹理特征数据;
将所述新的法向量图像作为当前法向量图像,以及将所述新的纹理特征数据作为当前纹理特征数据,返回至基于所述当前法向量图像、以及所述当前纹理特征数据,生成当前重构人脸图像的步骤;
将最后一次迭代过程中的当前法向量图像作为所述目标法向量图像。
20.根据权利要求19所述的人脸模型生成方法,其特征在于,所述第二损失,包括:像素一致性损失、和/或分类特征一致性损失。
21.根据权利要求20所述的人脸模型生成方法,其特征在于,所述第二损失包括分类特征一致性损失,所述基于所述目标人脸图像、以及所述当前重构人脸图像,得到第二损失,包括:
利用预先训练的图像分类网络对所述目标人脸图像进行分类处理,得到所述图像分类网络的目标网络层输出的第一特征数据;以及利用所述图像分类网络对所述当前重构人脸图像进行分类处理,得到所述目标网络层输出的第二特征数据;
基于所述第一特征数据和所述第二特征数据,得到所述分类特征一致性损失;
其中,所述图像分类网络利用所述目标人脸图像和所述当前重构人脸图像训练得到。
22.根据权利要求16‑21任一项所述的三维人脸模型生成方法,其特征在于,对包括目标人脸的目标人脸图像进行纹理特征恢复,得到所述目标人脸的初始纹理特征数据,包括:利用预先训练的第二目标神经网络对所述目标人脸图像进行纹理特征恢复,得到所述目标人脸的初始纹理特征数据;
其中,所述第二目标神经网络利用权利要求11~15任一项中的第一目标神经网络训练得到。
23.根据权利要求22所述的人脸模型生成方法,其特征在于,采用下述方式训练所述第二目标神经网络:
利用所述第一目标神经网络,对样本三维人脸模型的第二样本法向量图像、以及第二样本纹理特征数据进行处理,得到样本三维人脸模型的样本人脸图像;
利用待训练的第二神经网络对所述样本人脸图像进行处理,得到所述样本人脸图像对应的预测纹理特征数据;
基于所述预测纹理特征数据、以及所述第二样本纹理特征数据,确定第三损失;
基于所述第三损失,训练所述待训练的第二神经网络,得到第二目标神经网络。
24.一种人脸图像生成装置,其特征在于,包括:第一获取模块,用于获取法向量图像、以及纹理特征数据;其中,所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值;
第一处理模块,用于对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理,得到重构人脸图像。
25.一种三维人脸模型生成装置,其特征在于,包括:第二获取模块,用于对包括目标人脸的目标人脸图像进行三维人脸重建和纹理特征恢复,得到所述目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据;
第二处理模块,用于基于所述初始法向量图像、以及所述初始纹理特征数据,得到所述目标人脸的三维人脸模型。
26.一种电子设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至15任一项所述的人脸图像生成方法,或执行如权利要求16‑23任一项所述的三维人脸模型生成方法。
27.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备运行时,所述电子设备执行如权利要求1至15任一项所述的人脸图像生成方法,或执行如权利要求16‑23任一项所述的三维人脸模型生成方法。