1.一种图像风格迁移方法,其特征在于,包括:
对目标风格图像进行特征分离,获得目标风格图像的低频特征图和高频特征图;
采用编码器对待迁移图像进行编码,获得依次经过降分辨率和降维的待迁移图像的特征图A;其中,在编码过程中,在编码器各分辨率处理层输出的特征图B中融合低频特征图和高频特征图,将融合后的特征图B输入解码器相应的分辨率处理层;
对待迁移图像的特征图A依次进行若干层特征增强,将每层增强后的特征图A输入解码器对应的分辨率处理层;其中,特征增强层数与解码器分辨率处理层一致,并且特征增强层与解码器分辨率处理层一一对应,前一个特征增强层的输出作为后一个特征增强层的输入;
在待迁移图像的特征图A中融合低频特征图和高频特征图,采用输入融合后特征图B、特征增强后特征图A的解码器对其进行解码,获得风格迁移后的图像。
2.根据权利要求1所述的一种图像风格迁移方法,其特征在于,目标风格图像的低频特征图和高频特征图的公式为:L L L→L H H→L
F=conv(T;W )+conv(pool(T ,2);W )H H H→H L L→H
F=conv(T;W )+upsample(conv(T;W ),2)L H L
其中,F为低频特征图,F 为高频特征图,conv为卷积操作,T为目标风格图像特征图的H L→L H→H低频部分,T为目标风格图像特征图的高频部分,W 为低频到低频的卷积核,W 为高频到H→L L→H H高频的卷积核,W 为高频到低频的卷积核,W 为低频到高频的卷积核,pool(T ,2)为使用L L→H
2*2的卷积核步长进行平均池化,upsample(conv(T;W ),2)为通过最邻近内插法进行参数为2的上采样操作。
3.根据权利要求1所述的一种图像风格迁移方法,其特征在于,编码器包括若干串联的分辨率处理层,分辨率处理层串的下游串联有若干维度处理层,解码器包括若干串联的分辨率处理层,解码器分辨率处理层的数量与编码器分辨率处理层的数量一致,并且相同分辨率的分辨率处理层对应。
4.根据权利要求1所述的一种图像风格迁移方法,其特征在于,融合后的特征图B通过跳过连接传输至解码器。
5.根据权利要求1所述的一种图像风格迁移方法,其特征在于,针对待迁移图像的特征图A,融合1次低频特征图和高频特征图;沿编码器的输出至输入方向,针对第n个分辨率处理层输出的特征图B,融合1次低频特征图和n+1层次高频特征图;
融合一次低频特征图和n+1层次高频特征图的公式为:
其中,i∈[0,n], 为融合1次低频特征图和i次高频特征图后的特征图,为融合1次低频特征图和i+1次高频特征图后的特征图, 为没有融合低频特征图和高频特征图的原始特征图,inject(·)为注入操作, 表示逐元素相乘,σ为sigmoid函数,为 经过卷积后的特征图, 为 注入i+1次高频特征图后的特征H
图, conv为卷积操作,F 为高频特征图,
为 注入i次高频特征图后的特征图,
为经过卷积的低频特征图,
为 依次与 的1‑sigmoid操作结果逐元素相乘后的特征图,为 依次与 的1‑sigmoid操作结果逐元素相乘后的特征图。
6.一种图像风格迁移系统,其特征在于,包括:
分离模块,对目标风格图像进行特征分离,获得目标风格图像的低频特征图和高频特征图;
编码模块,采用编码器对待迁移图像进行编码,获得依次经过降分辨率和降维的待迁移图像的特征图A;其中,在编码过程中,在编码器各分辨率处理层输出的特征图B中融合低频特征图和高频特征图,将融合后的特征图B输入解码器相应的分辨率处理层;
特征增强模块,对待迁移图像的特征图A依次进行若干层特征增强,将每层增强后的特征图A输入解码器对应的分辨率处理层;其中,特征增强层数与解码器分辨率处理层一致,并且特征增强层与解码器分辨率处理层一一对应,前一个特征增强层的输出作为后一个特征增强层的输入;
解码模块,在待迁移图像的特征图A中融合低频特征图和高频特征图,采用输入融合后特征图B、特征增强后特征图A的解码器对其进行解码,获得风格迁移后的图像。
7.根据权利要求6所述的一种图像风格迁移系统,其特征在于,分离模块中,目标风格图像的低频特征图和高频特征图的公式为:L L L→L H H→L
F=conv(T;W )+conv(pool(T ,2);W )H H H→H L L→H
F=conv(T;W )+upsample(conv(T;W ),2)L H L
其中,F为低频特征图,F 为高频特征图,conv为卷积操作,T为目标风格图像特征图的H L→L H→H低频部分,T为目标风格图像特征图的高频部分,W 为低频到低频的卷积核,W 为高频到H→L L→H H高频的卷积核,W 为高频到低频的卷积核,W 为低频到高频的卷积核,pool(T ,2)为使用L L→H
2*2的卷积核步长进行平均池化,upsample(conv(T;W ),2)为通过最邻近内插法进行参数为2的上采样操作。
8.根据权利要求6所述的一种图像风格迁移系统,其特征在于,针对待迁移图像的特征图A,融合1次低频特征图和高频特征图;沿编码器的输出至输入方向,针对第n个分辨率处理层输出的特征图B,融合1次低频特征图和n+1层次高频特征图;
融合一次低频特征图和n+1层次高频特征图的公式为:
其中,i∈[0,n], 为融合1次低频特征图和i次高频特征图后的特征图,为融合1次低频特征图和i+1次高频特征图后的特征图, 为没有融合低频特征图和高频特征图的原始特征图,inject(·)为注入操作, 表示逐元素相乘,σ为sigmoid函数,为 经过卷积后的特征图, 为 注入i+1次高频特征图后的特征H
图, conv为卷积操作,F 为高频特征图,
为 注入i次高频特征图后的特征图,
为经过卷积的低频特征图,
为 依次与 的1‑sigmoid操作结果逐元素相乘后的特征图,为 依次与 的1‑sigmoid操作结果逐元素相乘后的特征图。
9.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。
10.一种计算设备,其特征在于,包括:
一个或多个处理器、一个或多个存储器以及一个或多个程序,其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。