利索能及
我要发布
收藏
专利号: 2021114330149
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,包括:

获取包含目标对象的第一图像,其中,所述目标对象包括多个目标对象结构;以及基于所述第一图像,生成包含虚拟形象的第二图像,其中,所述虚拟形象具有与所述多个目标对象结构分别对应的多个虚拟对象结构,并且所述多个虚拟对象结构指示所述虚拟形象对应于所述目标对象,其中,所述基于所述第一图像,生成包含虚拟形象的第二图像包括:利用图像处理模型处理所述第一图像,以获得所述第二图像,并且其中,所述图像处理模型包括自注意力的虚拟形象生成模型,所述虚拟形象生成模型通过将第一生成网络、第一判别网络、第二生成网络和第二判别网络构成训练网络组,采用解耦的训练图像集进行循环训练获得,所述解耦的训练图像集包括由第一训练图像和第二训练图像构成的训练图像对,其中,该第一训练图像包含相应的目标对象,该第二训练图像包含相应的虚拟对象并且该相应的虚拟对象具有指示目标风格的属性特征,在训练所述训练网络组的过程中,将该训练图像对中的第一训练图像输入至所述第一生成网络,以获得第一生成图像,该第一生成图像包括该第一训练图像相应的目标对象对应的生成虚拟对象,该生成虚拟对象包括多个生成虚拟对象结构,将该训练图像对中的第二训练图像输入至所述第二生成网络,以获得第二生成图像,该第二生成图像包括与该第二训练图像对应的虚拟对象对应的生成目标对象,该生成目标对象包括多个生成目标对象结构,通过所述第一判别网络提取该第一训练图像相应的目标对象的多个目标对象结构的第一几何空间特征和该第二生成图像相应的生成目标对象的多个生成目标对象结构的第二几何空间特征,基于该第一几何空间特征和该第二几何空间特征,获得第一训练图像和该第二生成图像的相似度,基于该相似度获得第一判别结果,通过所述第二判别网络提取该第二训练图像对应于目标风格的第一属性特征和该第一生成图像的对应于目标风格的第二属性特征,并基于该第一属性特征和该第二属性特征,获得该第一训练图像和该第二生成图像的相似度,基于该相似度获得第二判别结果,以及基于所述第一判别结果和所述第二判别结果,调整第一生成网络和第二生成网络、所述第一判别网络和所述第二判别网络的参数,其中,经训练的第一生成网络为所述虚拟形象生成模型。

2.根据权利要求1所述的方法,其中,所述目标对象包括人脸,所述获取包含目标对象的第一图像包括:对包含人脸的目标图像执行关键点检测,以获得多个关键点;以及

基于所述多个关键点,对所述目标图像执行人脸对齐,以获得所述第一图像。

3.根据权利要求1所述的方法,其中,所述基于所述第一图像,生成包含虚拟形象的第二图像包括:提取所述第一图像中所述目标对象的特征,所述目标对象的特征包括所述多个目标对象结构的几何空间特征;以及基于所提取的所述目标对象的特征,获得所述第二图像。

4.根据权利要求3所述的方法,其中,所述目标对象的特征还包括所述目标对象的颜色空间特征。

5.根据权利要求1所述的方法,还包括:

从多个风格类型中获取目标风格类型;并且其中,基于所述第一图像,生成包含虚拟形象的第二图像包括:基于所述第一图像和所述目标风格类型,生成包含所述虚拟形象的第二图像,其中,所述虚拟形象还包括用于从所述多个风格类型中识别所述目标风格类型的特征。

6.根据权利要求5所述的方法,其中,所述多个风格类型包括:古风类型、漫画类型和玩偶类型。

7.一种图像处理装置,包括:

第一获取单元,被配置用于获取包含目标对象的第一图像,其中,所述目标对象包括多个目标对象结构;

虚拟形象生成单元,被配置用于基于所述第一图像,生成包含虚拟形象的第二图像,其中,所述虚拟形象具有与所述多个目标对象结构分别对应的多个虚拟对象结构,并且所述多个虚拟对象结构指示所述虚拟形象对应于所述目标对象;

其中,所述基于所述第一图像,生成包含虚拟形象的第二图像包括:利用图像处理模型处理所述第一图像,以获得所述第二图像,并且其中,所述图像处理模型包括自注意力的虚拟形象生成模型,所述虚拟形象生成模型通过将第一生成网络、第一判别网络、第二生成网络和第二判别网络构成训练网络组,采用解耦的训练图像集进行循环训练获得,所述解耦的训练图像集包括由第一训练图像和第二训练图像构成的训练图像对,其中,该第一训练图像包含相应的目标对象,该第二训练图像包含相应的虚拟对象并且该相应的虚拟对象具有指示目标风格的属性特征,在训练所述训练网络组的过程中,将该训练图像对中的第一训练图像输入至所述第一生成网络,以获得第一生成图像,该第一生成图像包括该第一训练图像相应的目标对象对应的生成虚拟对象,该生成虚拟对象包括多个生成虚拟对象结构,将该训练图像对中的第二训练图像输入至所述第二生成网络,以获得第二生成图像,该第二生成图像包括与该第二训练图像对应的虚拟对象对应的生成目标对象,该生成目标对象包括多个生成目标对象结构,通过所述第一判别网络提取该第一训练图像相应的目标对象的多个目标对象结构的第一几何空间特征和该第二生成图像相应的生成目标对象的多个生成目标对象结构的第二几何空间特征,基于该第一几何空间特征和该第二几何空间特征,获得第一训练图像和该第二生成图像的相似度,基于该相似度获得第一判别结果,通过所述第二判别网络提取该第二训练图像对应于目标风格的第一属性特征和该第一生成图像的对应于目标风格的第二属性特征,并基于该第一属性特征和该第二属性特征,获得该第一训练图像和该第二生成图像的相似度,基于该相似度获得第二判别结果,以及基于所述第一判别结果和所述第二判别结果,调整第一生成网络和第二生成网络、所述第一判别网络和所述第二判别网络的参数,其中,经训练的第一生成网络为所述虚拟形象生成模型。

8.根据权利要求7所述的装置,其中,所述第一获取单元包括:

检测单元,被配置用于对包含人脸的目标图像执行关键点检测,以获得多个关键点;以及人脸对齐单元,被配置用于基于所述多个关键点,对所述目标图像执行人脸对齐,以获得所述第一图像。

9.根据权利要求7所述的装置,其中,所述虚拟形象生成单元包括:特征提取单元,被配置用于提取所述第一图像中所述目标对象的特征,所述目标对象的特征包括所述多个目标对象结构的几何空间特征;以及生成子单元,被配置用于基于所提取的所述目标对象的特征,获得所述第二图像。

10.根据权利要求9所述的装置,其中,所述目标对象的特征还包括所述目标对象的颜色空间特征。

11.根据权利要求7所述的装置,还包括:

第二获取单元,被配置用于从多个风格类型中获取目标风格类型;并且其中,所述虚拟形象生成单元还被配置用于:基于所述第一图像和所述目标风格类型,生成包含所述虚拟形象的第二图像,其中,所述虚拟形象还包括用于从所述多个风格类型中识别所述目标风格类型的特征。

12.根据权利要求11所述的装置,其中,所述多个风格类型包括:古风类型、漫画类型、玩偶类型、油画类型和山水类型。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6中任意一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑6中任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1‑6中任一项所述的方法。