利索能及
我要发布
收藏
专利号: 2021107288448
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种脸型变换模型训练方法,包括:基于第一脸型特征集和第二脸型特征集,得到第一生成网络和第二生成网络;

利用所述第一生成网络生成与第一样本图像对应的第一目标图像,并控制所述第一目标图像被判别属于第二脸型;

利用所述第二生成网络生成与第二样本图像对应的第二目标图像,并控制所述第二目标图像被判别属于所述第一脸型;

分别利用所述第二生成网络和所述第一生成网络生成与所述第一目标图像对应的第一变换图像、与所述第二目标图像对应的第二变换图像;

控制所述第一样本图像与所述第一变换图像、所述第二样本图像与所述第二变换图像被判别为相同的图像;

将满足预设要求的生成对抗网络输出为目标脸型变换模型;其中,所述第一样本图像和所述第二样本图像分别属于所述第一脸型和所述第二脸型,所述生成对抗网络包括所述第一生成网络和所述第二生成网络。

2.根据权利要求1所述的方法,其中,所述基于第一脸型特征集和第二脸型特征集,得到第一生成网络和第二生成网络,包括:将所述第一脸型特征集和第二脸型特征集分别作为训练一个生成网络的输入样本和输出样本,得到所述第一生成网络;

将所述第二脸型特征集和所述第一脸型特征集分别作为训练另一个生成网络的输入样本和输出样本,得到所述第二生成网络。

3.根据权利要求1所述的方法,还包括:基于所述第一脸型特征集提取到第一脸型特征,并基于所述第一脸型特征构建第一判别网络;

基于所述第二脸型特征集提取到第二脸型特征,并基于所述第二脸型特征构建第二判别网络;

基于预设的相同图像判别规则构建得到第三判别网络。

4.根据权利要求3所述的方法,其中,所述控制所述第一目标图像被判别属于第二脸型,包括:

控制所述第一目标图像被所述第二判别网络判别属于所述第二脸型;

所述控制所述第二目标图像被判别属于所述第一脸型,包括:控制所述第二目标图像被所述第一判别网络判别属于所述第一脸型。

5.根据权利要求3所述的方法,其中,所述控制所述第一样本图像与所述第一变换图像、所述第二样本图像与所述第二变换图像被判别为相同的图像,包括:控制所述第一样本图像与所述第一变换图像被所述第三判别网络判别为相同的图像;

控制所述第二样本图像与所述第二变换图像被所述第三判别网络判别为相同的图像。

6.根据权利要求3所述的方法,其中,所述将满足预设要求的生成对抗网络输出为目标脸型变换模型,包括:

基于所述第一生成网络、所述第二生成网络、所述第一判别网络、所述第二判别网络和所述第三判别网络,构建目标生成对抗网络;

将满足预设要求的目标生成对抗网络输出为所述目标脸型变换模型。

7.根据权利要求1所述的方法,还包括:通过人脸图像随机生成模型分别生成预设数量的第一脸型图像和第二脸型图像,得到第一脸型图像集和第二脸型图像集;

分别从所述第一脸型图像集和所述第二脸型图像集中提取到脸型特征,得到所述第一脸型特征集和所述第二脸型特征集。

8.根据权利要求7所述的方法,其中,所述分别从所述第一脸型图像集和所述第二脸型图像集中提取到脸型特征,得到所述第一脸型特征集和所述第二脸型特征集,包括:分别从所述第一脸型图像集和所述第二脸型图像集中提取到脸型关键点,得到所述第一脸型关键点集和所述第二脸型关键点集。

9.根据权利要求1所述的方法,其中,所述控制所述第一样本图像与所述第一变换图像、所述第二样本图像与所述第二变换图像被判别为相同的图像,包括:通过调整预设的循环损失函数的参数的方式,控制所述第一样本图像与所述第一变换图像、所述第二样本图像与所述第二变换图像被判别为相同的图像;

对应的,所述将满足预设要求的生成对抗网络输出为目标脸型变换模型,包括:将具有满足预设跳出条件的循环损失函数的生成对抗网络,输出为所述目标脸型变换模型。

10.根据权利要求1‑9任一项所述的方法,其中,所述控制所述第一样本图像与所述第一变换图像被判别为相同的图像,包括:获取所述第一样本图像与所述第一变换图像之间的脸型关键点差异、表情差异、人脸身份信息差异中的至少一项;

响应于所述脸型关键点差异、所述表情差异、所述人脸身份信息差异中的至少一项均小于对应的预设差异,判别所述第一样本图像与所述第一变换图像为相同的图像。

11.一种脸型变换方法,包括:获取待变换人脸图像;

调用目标脸型变换模型对所述待变换人脸图像进行脸型变换;其中,所述目标脸型变换模型基于如权利要求1‑10任一项所述的脸型变换模型训练方法得到。

12.一种脸型变换模型训练装置,包括:生成网络训练单元,被配置成基于第一脸型特征集和第二脸型特征集,得到第一生成网络和第二生成网络;

第一一次变换单元,被配置成利用所述第一生成网络生成与第一样本图像对应的第一目标图像,并控制所述第一目标图像被判别属于第二脸型;

第二一次变换单元,被配置成利用所述第二生成网络生成与第二样本图像对应的第二目标图像,并控制所述第二目标图像被判别属于所述第一脸型;

二次变换单元,被配置成分别利用所述第二生成网络和所述第一生成网络生成与所述第一目标图像对应的第一变换图像、与所述第二目标图像对应的第二变换图像;

相同图像控制单元,被配置成控制所述第一样本图像与所述第一变换图像、所述第二样本图像与所述第二变换图像被判别为相同的图像;

目标脸型变换模型输出单元,被配置成将满足预设要求的生成对抗网络输出为目标脸型变换模型;其中,所述第一样本图像和所述第二样本图像分别属于所述第一脸型和所述第二脸型,所述生成对抗网络包括所述第一生成网络和所述第二生成网络。

13.根据权利要求12所述的装置,其中,所述生成网络训练单元被进一步配置成:将所述第一脸型特征集和第二脸型特征集分别作为训练一个生成网络的输入样本和输出样本,得到所述第一生成网络;

将所述第二脸型特征集和所述第一脸型特征集分别作为训练另一个生成网络的输入样本和输出样本,得到所述第二生成网络。

14.根据权利要求12所述的装置,还包括:第一判别网络构建单元,被配置成基于所述第一脸型特征集提取到第一脸型特征,并基于所述第一脸型特征构建第一判别网络;

第二判别网络构建单元,被配置成基于所述第二脸型特征集提取到第二脸型特征,并基于所述第二脸型特征构建第二判别网络;

第三判别网络构建单元,被配置成基于预设的相同图像判别规则构建得到第三判别网络。

15.根据权利要求12所述的装置,其中,所述第一一次变换单元包括被配置成控制所述第一目标图像被判别属于第二脸型的第一控制子单元,所述第一控制子单元进一步配置成:

控制所述第一目标图像被所述第二判别网络判别属于所述第二脸型;

所述第二一次变换单元包括被配置成控制所述第二目标图像被判别属于所述第一脸型的第二控制子单元,所述第二控制子单元进一步配置成:控制所述第二目标图像被所述第一判别网络判别属于所述第一脸型。

16.根据权利要求12所述的装置,其中,所述相同图像控制单元被进一步配置成:控制所述第一样本图像与所述第一变换图像被所述第三判别网络判别为相同的图像;

控制所述第二样本图像与所述第二变换图像被所述第三判别网络判别为相同的图像。

17.根据权利要求12所述的装置,其中,所述目标脸型变换模型输出单元被进一步配置成:

基于所述第一生成网络、所述第二生成网络、所述第一判别网络、所述第二判别网络和所述第三判别网络,构建目标生成对抗网络;

将满足预设要求的目标生成对抗网络输出为所述目标脸型变换模型。

18.根据权利要求12所述的装置,还包括:脸型图像集随机生成单元,被配置成通过人脸图像随机生成模型分别生成预设数量的第一脸型图像和第二脸型图像,得到第一脸型图像集和第二脸型图像集;

脸型特征提取单元,被配置成分别从所述第一脸型图像集和所述第二脸型图像集中提取到脸型特征,得到所述第一脸型特征集和所述第二脸型特征集。

19.根据权利要求18所述的装置,其中,所述脸型特征提取单元被进一步配置成:分别从所述第一脸型图像集和所述第二脸型图像集中提取到脸型关键点,得到所述第一脸型关键点集和所述第二脸型关键点集。

20.根据权利要求12所述的装置,其中,所述相同图像控制单元被进一步配置成:通过调整预设的循环损失函数的参数的方式,控制所述第一样本图像与所述第一变换图像、所述第二样本图像与所述第二变换图像被判别为相同的图像;

对应的,所述目标脸型变换模型输出单元被进一步配置成:将具有满足预设跳出条件的循环损失函数的生成对抗网络,输出为所述目标脸型变换模型。

21.根据权利要求12‑20任一项所述的装置,其中,所述相同图像控制单元包括被配置成控制所述第一样本图像与所述第一变换图像被判别为相同的图像的第一子单元,所述第一子单元被进一步配置成:

获取所述第一样本图像与所述第一变换图像之间的脸型关键点差异、表情差异、人脸身份信息差异中的至少一项;

响应于所述脸型关键点差异、所述表情差异、所述人脸身份信息差异中的至少一项均小于对应的预设差异,判别所述第一样本图像与所述第一变换图像为相同的图像。

22.一种脸型变换装置,包括:待变换人脸图像获取单元,被配置成获取待变换人脸图像;

模型调用处理单元,被配置成调用目标脸型变换模型对所述待变换人脸图像进行脸型变换;其中,所述目标脸型变换模型基于如权利要求12‑21任一项所述的脸型变换模型训练装置得到。

23.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑10中任一项所述的脸型变换模型训练方法和/或权利要求11所述的脸型变换方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑10中任一项所述的脸型变换模型训练方法和/或权利要求11所述的脸型变换方法。

25.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑10中任一项所述的脸型变换模型训练方法和/或权利要求11所述的脸型变换方法。