利索能及
我要发布
收藏
专利号: 2021114876410
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,包括:对目标图像进行识别,以提取所述目标图像中对象的面部检测区域,所述面部检测区域包括对象的面部区域和头发区域;

确定与所述头发区域关联的发丝布局特征,所述发丝布局特征包括平面布局特征和/或空间布局特征;以及

根据所述发丝布局特征,确定与所述头发区域匹配的虚拟发型图像,以利用所述虚拟发型图像替换所述目标图像中的所述头发区域。

2.根据权利要求1所述的方法,还包括,在对目标图像进行识别之前:提取所述目标图像中的面部特征点;

根据所述目标图像中的面部特征点和预设基准占位特征,对所述目标图像进行图像配准,得到配准后的目标图像,

其中,所述对目标图像进行识别,以提取所述目标图像中对象的面部检测区域,包括:对所述配准后的目标图像进行识别,以提取所述配准后的目标图像中对象的面部检测区域,

其中,所述基准占位特征指示了对象的面部区域在所在图像中的参考占位。

3.根据权利要求1所述的方法,其中,所述发丝布局特征包括平面布局特征,所述确定与所述头发区域关联的发丝布局特征,包括:确定所述面部检测区域中的面部区域的轮廓信息,得到与所述头发区域关联的内轮廓特征;

确定所述面部检测区域和除所述面部检测区域以外的背景区域的交界信息,得到与所述头发区域关联的外轮廓特征,以及所述内轮廓特征和所述外轮廓特征构成所述平面布局特征。

4.根据权利要求3所述的方法,其中,所述根据所述发丝布局特征,确定与所述头发区域匹配的虚拟发型图像,包括:确定与所述头发区域的内轮廓特征和外轮廓特征的对应相似度均高于预设阈值的第一虚拟发型图像;以及

基于所述第一虚拟发型图像,确定与所述头发区域匹配的虚拟发型图像。

5.根据权利要求4所述的方法,其中,所述确定与所述头发区域关联的发丝布局特征,还包括:

确定所述头发区域中的像素的梯度信息;

根据所述头发区域中的像素的梯度信息,确定与所述头发区域关联的发丝走向特征;

以及

与所述头发区域关联的发丝走向特征构成所述平面布局特征,其中,所述基于所述第一虚拟发型图像,确定与所述头发区域匹配的虚拟发型图像,包括:

在所述第一虚拟发型图像中,确定与所述发丝走向特征的相似度高于预设阈值的第二虚拟发型图像,作为与所述头发区域匹配的虚拟发型图像。

6.根据权利要求4所述的方法,其中,所述发丝布局特征还包括空间布局特征,所述确定与所述头发区域关联的发丝布局特征,还包括:筛选所述头发区域中符合预设条件的有效角点;

计算与所述有效角点关联的特征描述符,所述特征描述符指示了所述有效角点与所述目标图像中的人像中心点的距离和夹角信息;

根据与所述有效角点关联的特征描述符,确定与所述头发区域关联的发丝分布的空间布局特征,

其中,所述基于所述第一虚拟发型图像,确定与所述头发区域匹配的虚拟发型图像,还包括:

在所述第一虚拟发型图像中,确定与所述发丝分布的空间布局特征的相似度高于预设阈值的第三虚拟发型图像,作为与所述头发区域匹配的虚拟发型图像。

7.根据权利要求1至6中任一项所述的方法,其中,利用生成式对抗网络,将与所述目标图像中的头发区域关联的发丝布局特征作为约束,输出与所述头发区域匹配的虚拟发型图像。

8.一种图像生成模型的训练方法,包括:对样本图像进行识别,以提取所述样本图像中的头发区域,得到真实发型图像;

对预设的初始虚拟发型进行渲染,得到渲染后的虚拟发型图像;以及利用所述真实发型图像和所述渲染后的虚拟发型图像训练初始模型,得到经训练的图像生成模型。

9.根据权利要求8所述的方法,其中,所述对样本图像进行识别,以提取所述样本图像中的头发区域,得到真实发型图像,包括:提取所述样本图像中的面部特征点;

根据所述样本图像中的面部特征点和预设基准占位特征,对所述样本图像进行图像配准,得到配准后的样本图像;以及对所述配准后的样本图像进行识别,以提取所述配准后的样本图像中的头发区域,得到所述真实发型图像。

10.根据权利要求9所述的方法,还包括,在对预设的初始虚拟发型进行渲染之前:根据所述基准占位特征,对所述初始虚拟发型进行配准,得到配准后的虚拟发型图像,其中,所述对预设的初始虚拟发型进行渲染,得到渲染后的虚拟发型图像,包括:对所述配准后的虚拟发型图像进行渲染,得到所述渲染后的虚拟发型图像。

11.根据权利要求10所述的方法,其中,所述配准后的虚拟发型图像中包括M个发丝,每个发丝中包括N个发丝节点,其中,M为大于1的整数,N为大于1的整数;

所述对所述配准后的虚拟发型图像进行渲染,得到所述渲染后的虚拟发型图像,包括:根据所述配准后的虚拟发型图像中的至少一个发丝节点在对应发丝中的节点序号,确定与所述至少一个发丝节点关联的像素颜色;以及根据与所述至少一个发丝节点关联的像素颜色,对所述配准后的虚拟发型图像进行渲染,得到所述渲染后的虚拟发型图像。

12.根据权利要求11所述的方法,其中,所述根据所述配准后的虚拟发型图像中的至少一个发丝节点在对应发丝中的节点序号,确定与所述至少一个发丝节点关联的像素颜色,包括:

根据所述至少一个发丝节点在对应发丝中的节点序号和所述对应发丝中的节点总数,将由所述节点序号和所述节点总数的比值所指示的颜色值,作为与对应发丝节点关联的像素颜色。

13.根据权利要求11所述的方法,其中,所述根据所述配准后的虚拟发型图像中的至少一个发丝节点在对应发丝中的节点序号,确定与所述至少一个发丝节点关联的像素颜色,包括:

根据所述配准后的虚拟发型图像中的发丝序号和所述至少一个发丝节点在对应发丝中的节点序号,确定与至少一个发丝中的每个发丝关联的节点序号向量;以及根据与所述至少一个发丝中的每个发丝关联的节点序号向量,将所述至少一个发丝映射到颜色空间,以得到与所述至少一个发丝节点关联的像素颜色。

14.根据权利要求8至13中任一项所述的方法,其中,所述利用所述真实发型图像和所述渲染后的虚拟发型图像训练初始模型,得到经训练的图像生成模型,包括:将所述真实发型图像和所述渲染后的虚拟发型图像作为生成式对抗网络的输入图像;

以及

利用所述生成式对抗网络将与所述输入图像中的头发区域关联的发丝布局特征作为约束,对输入的所述真实发型图像和所述渲染后的虚拟发型图像进行关联,得到所述经训练的图像生成模型。

15.一种图像处理装置,包括:第一处理模块,用于对目标图像进行识别,以提取所述目标图像中对象的面部检测区域,所述面部检测区域包括对象的面部区域和头发区域;

第二处理模块,用于确定与所述头发区域关联的发丝布局特征,所述发丝布局特征包括平面布局特征和/或空间布局特征;以及第三处理模块,用于根据所述发丝布局特征,确定与所述头发区域匹配的虚拟发型图像,以利用所述虚拟发型图像替换所述目标图像中的所述头发区域。

16.根据权利要求15所述的装置,所述第一处理模块,还用于在对目标图像进行识别之前:

提取所述目标图像中的面部特征点;

根据所述目标图像中的面部特征点和预设基准占位特征,对所述目标图像进行图像配准,得到配准后的目标图像,

在利用所述第一处理模块,对目标图像进行识别,以提取所述目标图像中对象的面部检测区域时,包括:

对所述配准后的目标图像进行识别,以提取所述配准后的目标图像中对象的面部检测区域,

其中,所述基准占位特征指示了对象的面部区域在所在图像中的参考占位。

17.根据权利要求15所述的装置,其中,所述发丝布局特征包括平面布局特征,所述第二处理模块包括:

第一处理子模块,用于确定所述面部检测区域中的面部区域的轮廓信息,得到与所述头发区域关联的内轮廓特征;

第二处理子模块,用于确定所述面部检测区域和除所述面部检测区域以外的背景区域的交界信息,得到与所述头发区域关联的外轮廓特征,以及所述内轮廓特征和所述外轮廓特征构成所述平面布局特征。

18.根据权利要求17所述的装置,其中,所述第三处理模块包括:第三处理子模块,用于确定与所述头发区域的内轮廓特征和外轮廓特征的对应相似度均高于预设阈值的第一虚拟发型图像;以及第四处理子模块,用于基于所述第一虚拟发型图像,确定与所述头发区域匹配的虚拟发型图像。

19.根据权利要求18所述的装置,其中,所述第二处理模块还包括:第五处理子模块,用于确定所述头发区域中的像素的梯度信息;

第六处理子模块,用于根据所述头发区域中的像素的梯度信息,确定与所述头发区域关联的发丝走向特征;以及

与所述头发区域关联的发丝走向特征构成所述平面布局特征,其中,所述第四处理子模块包括:第一处理单元,用于在所述第一虚拟发型图像中,确定与所述发丝走向特征的相似度高于预设阈值的第二虚拟发型图像,作为与所述头发区域匹配的虚拟发型图像。

20.根据权利要求18所述的装置,其中,所述发丝布局特征还包括空间布局特征,所述第二处理模块还包括:

第七处理子模块,用于筛选所述头发区域中符合预设条件的有效角点;

第八处理子模块,用于计算与所述有效角点关联的特征描述符,所述特征描述符指示了所述有效角点与所述目标图像中的人像中心点的距离和夹角信息;

第九处理子模块,用于根据与所述有效角点关联的特征描述符,确定与所述头发区域关联的发丝分布的空间布局特征,其中,所述第四处理子模块还包括:第二处理单元,用于在所述第一虚拟发型图像中,确定与所述发丝分布的空间布局特征的相似度高于预设阈值的第三虚拟发型图像,作为与所述头发区域匹配的虚拟发型图像。

21.根据权利要求15至20中任一项所述的装置,其中,利用生成式对抗网络,将与所述目标图像中的头发区域关联的发丝布局特征作为约束,输出与所述头发区域匹配的虚拟发型图像。

22.一种图像生成模型的训练装置,包括:第四处理模块,用于对样本图像进行识别,以提取所述样本图像中的头发区域,得到真实发型图像;

第五处理模块,用于对预设的初始虚拟发型进行渲染,得到渲染后的虚拟发型图像;以及

第六处理模块,用于利用所述真实发型图像和所述渲染后的虚拟发型图像训练初始模型,得到经训练的图像生成模型。

23.根据权利要求22所述的装置,其中,所述第四处理模块包括:第十处理子模块,用于提取所述样本图像中的面部特征点;

第十一处理子模块,用于根据所述样本图像中的面部特征点和预设基准占位特征,对所述样本图像进行图像配准,得到配准后的样本图像;以及第十二处理子模块,用于对所述配准后的样本图像进行识别,以提取所述配准后的样本图像中的头发区域,得到所述真实发型图像。

24.根据权利要求23所述的装置,其中,所述第五处理模块,还用于在对预设的初始虚拟发型进行渲染之前:

根据所述基准占位特征,对所述初始虚拟发型进行配准,得到配准后的虚拟发型图像,在利用所述第五处理模块,对预设的初始虚拟发型进行渲染,得到渲染后的虚拟发型图像时,包括:

对所述配准后的虚拟发型图像进行渲染,得到所述渲染后的虚拟发型图像。

25.根据权利要求24所述的装置,其中,所述配准后的虚拟发型图像中包括M个发丝,每个发丝中包括N个发丝节点,其中,M为大于1的整数,N为大于1的整数;

所述第五处理模块包括:

第十三处理子模块,用于根据所述配准后的虚拟发型图像中的至少一个发丝节点在对应发丝中的节点序号,确定与所述至少一个发丝节点关联的像素颜色;以及第十四处理子模块,用于根据与所述至少一个发丝节点关联的像素颜色,对所述配准后的虚拟发型图像进行渲染,得到所述渲染后的虚拟发型图像。

26.根据权利要求25所述的装置,其中,所述第十三处理子模块包括:第三处理单元,用于根据所述至少一个发丝节点在对应发丝中的节点序号和所述对应发丝中的节点总数,将由所述节点序号和所述节点总数的比值所指示的颜色值,作为与对应发丝节点关联的像素颜色。

27.根据权利要求25所述的装置,其中,所述第十三处理子模块包括:第四处理单元,用于据所述配准后的虚拟发型图像中的发丝序号和所述至少一个发丝节点在对应发丝中的节点序号,确定与至少一个发丝中的每个发丝关联的节点序号向量;

以及

第五处理单元,用于根据与所述至少一个发丝中的每个发丝关联的节点序号向量,将所述至少一个发丝映射到颜色空间,以得到与所述至少一个发丝节点关联的像素颜色。

28.根据权利要求22至27中任一项所述的装置,其中,所述第六处理模块包括:第十五处理子模块,用于将所述真实发型图像和所述渲染后的虚拟发型图像作为生成式对抗网络的输入图像;以及

第十六处理子模块,用于利用所述生成式对抗网络将与所述输入图像中的头发区域关联的发丝布局特征作为约束,对输入的所述真实发型图像和所述渲染后的虚拟发型图像进行关联,得到所述经训练的图像生成模型。

29.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~7中任一项所述的方法,或执行权利要求8~14中任一项所述的方法。

30.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1~7中任一项所述的方法,或执行权利要求8~14中任一项所述的方法。

31.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1~7中任一项所述的方法,或实现根据权利要求8~14中任一项所述的方法。