利索能及
我要发布
收藏
专利号: 2020110233554
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种风格转换模型的训练方法,其中,所述方法包括:采集数条训练样本,各条所述训练样本中包括内容图、风格图以及基于优化方法得到的目标结果图;

采用各条所述训练样本,训练所述风格转换模型;

所述风格转换模型为图像风格转换模型时,采集数条训练样本,各条所述训练样本中包括内容图、风格图以及基于优化方法得到的目标结果图之前,所述方法还包括:对于各条所述训练样本中的所述内容图和风格图,采用第一优化风格转换模型获取对应的结果图;

基于所述结果图,并参考所述内容图和/或所述风格图,构建第二损失函数;

若所述第二损失函数不收敛时,调整所述第一优化风格转换模型的参数,使得所述第二损失函数趋于收敛,直至获取所述第二损失函数收敛后所述第一优化风格转换模型输出的所述结果图,作为对应的所述目标结果图。

2.根据权利要求1所述的方法,其中,采用各条所述训练样本,训练所述风格转换模型,包括:对于各条所述训练样本,获取对应的风格转换模型输出的预测结果图;

基于对应的所述训练样本以及对应的预测结果图,构建相应的第一损失函数;

在所述第一损失函数不收敛时,调整所述图像风格转换模型的参数,使得所述第一损失函数趋向于收敛。

3.根据权利要求2所述的方法,其中,基于对应的所述训练样本以及对应的预测结果图,构建相应的第一损失函数,包括:对于所述训练样本,基于所述目标结果图和所述预测结果图,构建判别器损失函数;

基于所述目标结果图和所述预测结果图的各像素点的像素值,构建像素差损失函数;

基于所述训练样本以及对应的预测结果图,构建风格损失函数、全变分损失函数以及边界损失函数中的至少一种;

基于所述风格损失函数、所述全变分损失函数以及所述边界损失函数中的至少一种,并结合所述判别器损失函数和所述像素差损失函数,构建所述第一损失函数。

4.根据权利要求1‑3任一所述的方法,其中,所述风格转换模型为人脸风格转换模型时,所述内容图为人脸图,采集数条训练样本,各条所述训练样本中包括内容图、风格图以及基于优化方法得到的目标结果图之前,所述方法还包括:对于各条所述人脸训练样本中对应的所述人脸图和所述风格图,采用第二优化风格转换模型获取对应的初始结果图;

保留所述初始结果图中的颜色信息,去除所述初始结果图中的纹理信息,得到更新后的人脸结果图;

基于所述更新后的人脸结果图,并参考所述人脸图和/或所述风格图,构建第三损失函数;

若所述第三损失函数不收敛时,调整所述第二优化风格转换模型的参数,使得所述第三损失函数趋于收敛,直至获取到所述第三损失函数收敛后所述第二优化风格转换模型输出的所述更新后的人脸结果图,作为对应的所述目标结果图。

5.一种图像的风格转换方法,其中,所述方法包括:

检测待处理的图像中是否包括人脸;

若包括,采用预训练的人脸风格转换模型和预设的风格图,对所述待处理的图像中的人脸区域进行风格转换,使得风格转换后的所述人脸区域仅携带所述风格图中的颜色信息,而不包括所述风格图中的纹理信息;

采用预训练的图像风格转换模型和预设的所述风格图,对所述待处理的图像中的所述人脸区域之外的其他区域进行风格转换;其中,所述人脸风格转换模型和所述图像风格转换模型采用权利要求1‑4任一所述的风格转换模型的训练方法训练得到。

6.根据权利要求5所述的方法,其中,检测待处理的图像中是否包括人脸,包括:采用预训练的人脸检测模型检测所述待处理的图像中是否包括人脸;若包括,输出人脸区域的位置信息。

7.根据权利要求5所述的方法,其中,所述方法还包括:若所述待处理的图像中未包括人脸时,采用预训练的所述图像风格转换模型和预设的所述风格图,对所述待处理的图像进行风格转换。

8.一种风格转换模型的训练装置,其中,所述装置包括:采集模块,用于采集数条训练样本,各条所述训练样本中包括内容图、风格图以及基于优化方法得到的目标结果图;

训练模块,用于采用各条所述训练样本,训练所述风格转换模型;

所述风格转换模型为图像风格转换模型时,所述装置还包括:获取模块,用于对于各条所述训练样本中的所述内容图和风格图,采用第一优化风格转换模型获取对应的结果图;

构建模块,用于基于所述结果图,并参考所述内容图和/或所述风格图,构建第二损失函数;

调整模块,用于若所述第二损失函数不收敛时,调整所述第一优化风格转换模型的参数,使得所述第二损失函数趋于收敛,直至获取所述第二损失函数收敛后所述第一优化风格转换模型输出的所述结果图,作为对应的所述目标结果图。

9.根据权利要求8所述的装置,其中,所述训练模块,包括:获取单元,用于对于各条所述训练样本,获取对应的风格转换模型输出的预测结果图;

构建单元,用于基于对应的所述训练样本以及对应的预测结果图,构建相应的第一损失函数;

调整单元,用于在所述第一损失函数不收敛时,调整所述图像风格转换模型的参数,使得所述第一损失函数趋向于收敛。

10.根据权利要求9所述的装置,其中,所述构建单元,用于:对于所述训练样本,基于所述目标结果图和所述预测结果图,构建判别器损失函数;

基于所述目标结果图和所述预测结果图的各像素点的像素值,构建像素差损失函数;

基于所述训练样本以及对应的预测结果图,构建风格损失函数、全变分损失函数以及边界损失函数中的至少一种;

基于所述风格损失函数、所述全变分损失函数以及所述边界损失函数中的至少一种,并结合所述判别器损失函数和所述像素差损失函数,构建所述第一损失函数。

11.根据权利要求8‑10任一所述的装置,其中,所述风格转换模型为人脸风格转换模型,所述内容图对应为人脸图时,所述装置还包括更新模块;

所述获取模块,还用于对于各条所述人脸训练样本中对应的所述人脸图和所述风格图,采用第二优化风格转换模型获取对应的初始结果图;

所述更新模块,用于保留所述初始结果图中的颜色信息,去除所述初始结果图中的纹理信息,得到更新后的人脸结果图;

所述构建模块,还用于基于所述更新后的人脸结果图,并参考所述人脸图和/或所述风格图,构建第三损失函数;

所述调整模块,还用于若所述第三损失函数不收敛时,调整所述第二优化风格转换模型的参数,使得所述第三损失函数趋于收敛,直至获取到所述第三损失函数收敛后所述第二优化风格转换模型输出的所述更新后的人脸结果图,作为对应的所述目标结果图。

12.一种图像的风格转换装置,其中,所述装置包括:

检测模块,用于检测待处理的图像中是否包括人脸;

人脸风格转换模块,用于若包括,采用预训练的人脸风格转换模型和预设的风格图,对所述待处理的图像中的人脸区域进行风格转换,使得风格转换后的所述人脸区域仅携带所述风格图中的颜色信息,而不包括所述风格图中的纹理信息;

图像风格转换模块,用于采用预训练的图像风格转换模型和预设的所述风格图,对所述待处理的图像中的所述人脸区域之外的其他区域进行风格转换;其中,所述人脸风格转换模型和所述图像风格转换模型采用权利要求8‑11任一所述的风格转换模型的训练装置训练得到。

13.根据权利要求12所述的装置,其中,所述检测模块,用于:采用预训练的人脸检测模型检测所述待处理的图像中是否包括人脸;若包括,输出人脸区域的位置信息。

14.根据权利要求12所述的装置,其中,所述图像风格转换模块,还用于:若所述待处理的图像中未包括人脸时,采用预训练的所述图像风格转换模型和预设的所述风格图,对所述待处理的图像进行风格转换。

15.一种电子设备,其中,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1‑7中任一项所述的方法。