利索能及
我要发布
收藏
专利号: 2020103002875
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种训练人脸图像生成模型的方法,所述人脸图像生成模型包括第一特征提取网络、特征仿射变换网络以及第二模态特征的解码器,所述方法包括:利用第一特征提取网络对第一样本人脸图像进行特征提取,得到第一样本人脸图像的第一模态特征,其中第一样本人脸图像为第一模态的人脸图像;

利用特征仿射变换网络将所述第一样本人脸图像的第一模态特征变换为第二模态特征;

将所述第一样本人脸图像的第二模态特征输入至第二模态特征的解码器进行解码,得到所述第一样本人脸图像对应的第二模态人脸图像;

根据所述第一样本人脸图像对应的第二模态人脸图像以及样本人脸图像对中所述第一样本人脸图像对应的第二样本人脸图像,确定所述特征仿射变换网络的误差,对所述误差进行反向传播,以迭代调整所述特征仿射变换网络的参数,其中,所述第二样本人脸图像为第二模态的人脸图像。

2.根据权利要求1所述的方法,其中,所述第一特征提取网络包括第一纹理特征生成网络和身份特征提取网络,所述第一纹理特征生成网络基于生成对抗网络训练得出;以及所述利用第一特征提取网络对第一样本人脸图像进行特征提取,得到第一样本人脸图像的第一模态特征,包括:利用第一纹理特征生成网络和身份特征提取网络分别提取第一样本人脸图像的纹理特征和身份特征;

对所述第一样本人脸图像的纹理特征和身份特征进行拼接形成第一样本人脸图像的第一模态特征。

3.根据权利要求1所述的方法,其中,所述方法还包括:

基于第一样本人脸图像训练所述第一特征提取网络和第一模态特征的解码器,包括:利用待训练的第一特征提取网络提取第一样本人脸图像的特征,采用待训练的第一模态特征的解码器对所述第一样本人脸图像的特征进行解码,得到第一模态的预测人脸图像;

基于所述第一模态的预测人脸图像与所述第一样本人脸图像之间的差异,迭代调整所述待训练的第一特征提取网络的参数和所述待训练的第一模态特征的解码器的参数。

4.根据权利要求3所述的方法,其中,所述第一特征提取网络包括第一纹理特征生成网络和身份特征提取网络,所述身份特征提取网络包括经过训练的人脸识别网络中的特征提取网络;

所述利用待训练的第一特征提取网络提取第一样本人脸图像的特征,包括:利用待训练的第一纹理特征生成网络和所述身份特征提取网络分别提取所述第一样本人脸图像的纹理特征和身份特征;

对所述第一样本人脸图像的纹理特征和身份特征进行拼接形成所述第一样本人脸图像的特征;

所述迭代调整所述待训练的第一特征提取网络的参数和所述待训练的第一模态特征的解码器的参数,包括:采用生成对抗训练的方式,迭代调整所述待训练的第一特征提取网络的参数和所述待训练的第一模态特征的解码器的参数。

5.根据权利要求3或4所述的方法,其中,所述方法还包括:基于第二样本人脸图像训练第二特征提取网络和所述第二模态特征的解码器,包括:利用待训练的第二特征提取网络提取第二样本人脸图像的特征,采用待训练的第二模态特征的解码器对所述第二样本人脸图像的特征进行解码,得到第二模态的预测人脸图像;

基于所述第二模态的预测人脸图像与所述第二样本人脸图像之间的差异迭代调整所述待训练的第二特征提取网络的参数和所述待训练的第二模态特征的解码器的参数。

6.根据权利要求5所述的方法,其中,所述第二特征提取网络包括第二纹理特征生成网络和身份特征提取网络,所述身份特征提取网络包括经过训练的人脸识别网络中的特征提取网络;

所述利用待训练的第二特征提取网络提取第二样本人脸图像的特征,包括:利用待训练的第二纹理特征生成网络和所述身份特征提取网络分别提取所述第二样本人脸图像的纹理特征和身份特征;

对所述第二样本人脸图像的纹理特征和身份特征进行拼接形成所述第二样本人脸图像的特征;

所述迭代调整所述待训练的第二特征提取网络的参数和所述待训练的第二模态特征的解码器的参数,包括:采用生成对抗训练的方式,迭代调整所述待训练的第二特征提取网络的参数和所述待训练的第二模态特征的解码器的参数。

7.一种人脸图像生成方法,包括:

将第一模态的人脸图像输入第一特征提取网络,得到第一模态的人脸图像的第一模态特征;

利用特征仿射变换网络将所述第一模态的人脸图像的第一模态特征变换为第二模态特征;

将所述第一模态的人脸图像的第二模态特征输入至第二模态特征的解码器进行解码,得到所述第一模态的人脸图像对应的第二模态人脸图像;

其中,所述第一特征提取网络基于第一模态的样本人脸图像训练得出,所述第二模态特征的解码器基于第二模态的样本人脸图像训练得出;

所述特征仿射变换网络基于样本人脸图像对训练得出,所述样本人脸图像对包括第一模态的样本人脸图像和第二模态的样本人脸图像。

8.一种训练人脸图像生成模型的装置,所述人脸图像生成模型包括第一特征提取网络、特征仿射变换网络以及第二模态特征的解码器,所述装置包括:第一提取单元,被配置为利用第一特征提取网络对第一样本人脸图像进行特征提取,得到第一样本人脸图像的第一模态特征,其中第一样本人脸图像为第一模态的人脸图像;

第一变换单元,被配置为利用特征仿射变换网络将所述第一样本人脸图像的第一模态特征变换为第二模态特征;

第一解码单元,被配置为将所述第一样本人脸图像的第二模态特征输入至第二模态特征的解码器进行解码,得到所述第一样本人脸图像对应的第二模态人脸图像;

调整单元,被配置为根据所述第一样本人脸图像对应的第二模态人脸图像以及样本人脸图像对中所述第一样本人脸图像对应的第二样本人脸图像,确定所述特征仿射变换网络的误差,对所述误差进行反向传播,以迭代调整所述特征仿射变换网络的参数,其中,所述第二样本人脸图像为第二模态的人脸图像。

9.根据权利要求8所述的装置,其中,所述第一特征提取网络包括第一纹理特征生成网络和身份特征提取网络,所述第一纹理特征生成网络基于生成对抗网络训练得出;以及所述第一提取单元包括:第一特征提取单元,被配置为利用第一纹理特征生成网络和身份特征提取网络分别提取第一样本人脸图像的纹理特征和身份特征;

第一拼接单元,被配置为对所述第一样本人脸图像的纹理特征和身份特征进行拼接形成第一样本人脸图像的第一模态特征。

10.根据权利要求8所述的装置,其中,所述装置还包括:

第一训练单元,被配置为基于第一样本人脸图像,按照如下方式训练所述第一特征提取网络和第一模态特征的解码器:利用待训练的第一特征提取网络提取第一样本人脸图像的特征,采用待训练的第一模态特征的解码器对所述第一样本人脸图像的特征进行解码,得到第一模态的预测人脸图像;

基于所述第一模态的预测人脸图像与所述第一样本人脸图像之间的差异,迭代调整所述待训练的第一特征提取网络的参数和所述待训练的第一模态特征的解码器的参数。

11.根据权利要求10所述的装置,其中,所述第一特征提取网络包括第一纹理特征生成网络和身份特征提取网络,所述身份特征提取网络包括经过训练的人脸识别网络中的特征提取网络;

所述第一训练单元被配置为按照如下方式提取第一样本人脸图像的特征:利用待训练的第一纹理特征生成网络和所述身份特征提取网络分别提取所述第一样本人脸图像的纹理特征和身份特征;

对所述第一样本人脸图像的纹理特征和身份特征进行拼接形成所述第一样本人脸图像的特征;

所述第一训练单元进一步被配置为:采用生成对抗训练的方式,迭代调整所述待训练的第一特征提取网络的参数和所述待训练的第一模态特征的解码器的参数。

12.根据权利要求10或11所述的装置,其中,所述装置还包括:第二训练单元,被配置为基于第二样本人脸图像,按照如下方式训练第二特征提取网络和所述第二模态特征的解码器:利用待训练的第二特征提取网络提取第二样本人脸图像的特征,采用待训练的第二模态特征的解码器对所述第二样本人脸图像的特征进行解码,得到第二模态的预测人脸图像;

基于所述第二模态的预测人脸图像与所述第二样本人脸图像之间的差异迭代调整所述待训练的第二特征提取网络的参数和所述待训练的第二模态特征的解码器的参数。

13.根据权利要求12所述的装置,其中,所述第二特征提取网络包括第二纹理特征生成网络和身份特征提取网络,所述身份特征提取网络包括经过训练的人脸识别网络中的特征提取网络;

所述第二训练单元被配置为按照如下方式提取第二样本人脸图像的特征:利用待训练的第二纹理特征生成网络和所述身份特征提取网络分别提取所述第二样本人脸图像的纹理特征和身份特征;

对所述第二样本人脸图像的纹理特征和身份特征进行拼接形成所述第二样本人脸图像的特征;

所述第二训练单元进一步被配置为:采用生成对抗训练的方式,迭代调整所述待训练的第二特征提取网络的参数和所述待训练的第二模态特征的解码器的参数。

14.一种人脸图像生成装置,包括:

第二提取单元,被配置为将第一模态的人脸图像输入第一特征提取网络,得到第一模态的人脸图像的第一模态特征;

第二变换单元,被配置为利用特征仿射变换网络将所述第一模态的人脸图像的第一模态特征变换为第二模态特征;

第二解码单元,被配置为将所述第一模态的人脸图像的第二模态特征输入至第二模态特征的解码器进行解码,得到所述第一模态的人脸图像对应的第二模态人脸图像;

其中,所述第一特征提取网络基于第一模态的样本人脸图像训练得出,所述第二模态特征的解码器基于第二模态的样本人脸图像训练得出;

所述特征仿射变换网络基于样本人脸图像对训练得出,所述样本人脸图像对包括第一模态的样本人脸图像和第二模态的样本人脸图像。

15.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑7中任一所述的方法。

16.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1‑7中任一所述的方法。