利索能及
我要发布
收藏
专利号: 2021107390681
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像风格迁移方法,包括:确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据,以及风格图在对应关联编码尺度下的风格特征编码数据;

根据各所述内容特征编码数据和各所述风格特征编码数据,确定所述风格图在所述目标编码尺度下的统计特征数据;

根据所述目标编码尺度下的所述统计特征数据和内容特征编码数据,生成风格迁移图。

2.根据权利要求1所述的方法,其中,所述根据各所述内容特征编码数据和各所述风格特征编码数据,确定所述风格图在所述目标编码尺度下的统计特征数据,包括:对各所述内容特征编码数据进行特征融合,得到内容特征融合数据;

对各所述风格特征编码数据进行特征融合,得到风格特征融合数据;

根据所述内容特征融合数据和所述风格特征融合数据,确定所述风格图在所述目标编码尺度下的统计特征数据。

3.根据权利要求2所述的方法,其中,所述根据所述内容特征融合数据和所述风格特征融合数据,确定所述风格图在所述目标编码尺度下的统计特征数据,包括:根据所述内容特征融合数据和所述风格特征融合数据,确定相似度数据;

根据所述相似度数据和所述风格图的风格特征编码数据,生成所述风格图在所述目标编码尺度下的均值特征数据;

根据所述相似度数据、所述均值特征数据和所述目标编码尺度下的风格特征编码数据,生成所述风格图在所述目标编码尺度下的标准差特征数据或方差特征数据。

4.根据权利要求2所述的方法,其中,所述对各所述内容特征编码数据进行特征融合,得到内容特征融合数据,包括:

将各所述内容特征编码数据调整至目标尺寸,并将调整后的各内容特征编码数据依通道融合,得到所述内容特征融合数据;

所述对各所述风格特征编码数据进行特征融合,得到风格特征融合数据,包括:将各所述风格特征编码数据调整至所述目标尺寸,并将调整后的各风格特征编码数据依通道融合,得到所述风格特征融合数据。

5.根据权利要求4所述的方法,还包括:将各所述关联编码尺度下的内容特征编码数据或风格特征编码数据的最小尺寸,作为所述目标尺寸。

6.根据权利要求3所述的方法,其中,所述根据所述目标编码尺度下的所述统计特征数据和内容特征编码数据,生成风格迁移图,包括:根据所述目标编码尺度下的所述统计特征数据和所述内容特征编码数据,生成所述目标编码尺度下的风格迁移特征数据;

根据至少一个所述目标编码尺度下的风格迁移特征数据,生成所述风格迁移图。

7.根据权利要求6所述的方法,其中,所述根据所述目标编码尺度下的所述统计特征数据和所述内容特征编码数据,生成所述目标编码尺度下的风格迁移特征数据,包括:根据所述目标编码尺度下的所述标准差特征数据或所述方差特征数据,以及所述目标编码尺度下的内容特征编码数据,生成所述目标编码尺度下的迁移量数据;

根据所述目标编码尺度下的所述迁移量数据和所述均值特征数据,生成所述目标编码尺度下的风格迁移特征数据。

8.根据权利要求1‑7任一项所述的方法,其中,所述确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据,以及风格图在对应关联编码尺度下的风格特征编码数据,包括:

对所述内容图和所述风格图在至少一个编码尺度下进行特征编码,得到各编码尺度下的内容特征编码数据和风格特征编码数据;

针对各所述目标编码尺度,将分辨率小于所述目标编码尺度对应内容特征编码数据的各内容特征编码数据,作为所述目标编码尺度的关联编码尺度下的内容特征编码数据;

将分辨率小于所述目标编码尺度对应风格特征编码数据的各风格编码特征数据,作为所述目标编码尺度的关联编码尺度下的风格特征编码数据。

9.一种图像风格迁移装置,包括:特征编码数据确定模块,用于确定内容图在目标编码尺度的至少一个关联编码尺度下的内容特征编码数据,以及风格图在对应关联编码尺度下的风格特征编码数据;

统计特征数据确定模块,用于根据各所述内容特征编码数据和各所述风格特征编码数据,确定所述风格图的在所述目标编码尺度下统计特征数据;

风格迁移图生成模块,用于根据所述目标编码尺度下的所述统计特征数据和内容特征编码数据,生成风格迁移图。

10.根据权利要求9所述的装置,其中,所述统计特征数据确定模块,包括:内容特征融合数据得到单元,用于对各所述内容特征编码数据进行特征融合,得到内容特征融合数据;

风格特征融合数据得到单元,用于对各所述风格特征编码数据进行特征融合,得到风格特征融合数据;

统计特征数据确定单元,用于根据所述内容特征融合数据和所述风格特征融合数据,确定所述风格图在所述目标编码尺度下的统计特征数据。

11.根据权利要求10所述的装置,其中,所述统计特征数据确定单元,包括:相似度数据确定子单元,用于根据所述内容特征融合数据和所述风格特征融合数据,确定相似度数据;

均值特征数据确定子单元,用于根据所述相似度数据和所述风格图的风格特征编码数据,生成所述风格图在所述目标编码尺度下的均值特征数据;

标准差特征数据确定子单元,用于根据所述相似度数据、所述均值特征数据和所述风格图的风格特征编码数据,生成所述风格图在所述目标编码尺度下的标准差特征数据;或者,

方差特征数据确定子单元,用于根据所述相似度数据、所述均值特征数据和所述风格图的风格特征编码数据,生成所述风格图在所述目标编码尺度下的方差特征数据。

12.根据权利要求10所述的装置,其中,所述内容特征融合数据得到单元,包括:内容特征融合数据得到子单元,用于将各所述内容特征编码数据调整至目标尺寸,并将调整后的各内容特征编码数据依通道融合,得到所述内容特征融合数据;

所述风格特征融合数据得到单元,包括:风格特征融合数据得到子单元,用于将各所述风格特征编码数据调整至所述目标尺寸,并将调整后的各风格特征编码数据依通道融合,得到所述风格特征融合数据。

13.根据权利要求12所述的装置,所述内容特征融合数据得到单元,还包括:目标尺寸确定子单元,用于将各所述关联编码尺度下的内容特征编码数据的最小尺寸,作为所述目标尺寸;

或者,

所述风格特征融合数据得到单元,还包括:目标尺寸确定子单元,用于将各所述关联编码尺度下的风格特征编码数据的最小尺寸,作为所述目标尺寸。

14.根据权利要求11所述的装置,其中,所述风格迁移图生成模块,包括:风格迁移特征数据生成单元,用于根据所述目标编码尺度下的所述统计特征数据和所述内容特征编码数据,生成所述目标编码尺度下的风格迁移特征数据;

风格迁移图生成单元,用于根据至少一个所述目标编码尺度下的风格迁移特征数据,生成所述风格迁移图。

15.根据权利要求14所述的装置,其中,所述风格迁移特征数据生成单元,包括:迁移量数据生成子单元,用于根据所述目标编码尺度下的所述标准差特征数据或所述方差特征数据,以及所述目标编码尺度下的内容特征编码数据,生成所述目标编码尺度下的迁移量数据;

风格迁移结果生成单元,用于根据所述目标编码尺度下的所述迁移量数据和所述均值特征数据,生成所述目标编码尺度下的风格迁移特征数据。

16.根据权利要求9‑15任一项所述的装置,其中,所述特征编码数据确定模块,包括:特征编码单元,用于对所述内容图和所述风格图在至少一个编码尺度下进行特征编码,得到各编码尺度下的内容特征数据和风格特征编码数据;

内容特征编码数据确定单元,用于针对各所述目标编码尺度,将分辨率小于所述目标编码尺度对应内容特征编码数据的各内容特征编码数据,作为所述目标编码尺度的关联编码尺度下的内容特征编码数据;

风格特征编码数据确定单元,用于将分辨率小于所述目标编码尺度对应风格特征编码数据的各风格编码特征数据,作为所述目标编码尺度的关联编码尺度下的风格特征编码数据。

17.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑8中任一项所述的一种图像风格迁移方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1‑8中任一项所述的一种图像风格迁移方法。

19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑8中任一项所述的一种图像风格迁移方法。