利索能及
我要发布
收藏
专利号: 2024101014753
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种双向图像风格转换方法,其特征是,包括:

获取待转换的第一风格图像;

通过预先训练好的生成对抗网络中的生成网络对待转换的所述第一风格图像的图像风格进行转换,得到第二风格图像;

其中所述生成网络包括卷积层、转置卷积层、反卷积层和特征二维注意力模块;所述卷积层用于对第一风格图像进行卷积运算,获得第一风格的初始特征图;所述转置卷积层用于将初始特征图转换为第二风格的中间特征图;所述特征二维注意力模块用于对中间特征图进行通道和空间上的注意力计算获得注意力特征图;所述反卷积层用于对注意力特征图进行反卷积运算,以获得生成的第二风格图像;

所述生成对抗网络的训练方法,包括:

获取用于训练的图像数据集,其中所述图像数据集包括多个真实第一风格图像以及对应的真实第二风格图像;

利用所述图像数据集对生成对抗网络进行训练,获得训练好的生成对抗网络;其中,所述生成对抗网络包括生成网络和判别网络,训练过程具体包括:将真实第一风格图像输入生成网络,得到生成第二风格图像;

将生成第二风格图像输入判别网络,得到生成第二风格图像的判别结果;

基于所述生成第二风格图像与真实第二风格图像以及生成第二风格图像的判别结果,利用预构建的生成对抗网络的损失函数,进行迭代训练,直至达到预设条件,得到训练好的生成对抗网络;

所述生成对抗网络的模型构建方法,包括:

向判别网络输入真实图像与第一伪造图像,构建训练判别网络学习区分真实图像和生成的第一伪造图像,并对输入判别网络的图像的风格进行分类,生成图像属性标签;

生成网络将输入图像和待生成的目标风格标签都作为输入,并生成第二伪造图像,在此过程中,目标风格标签在空间上被复制并与输入图像连接;

生成网络尝试在给定原始图像风格标签的情况下从第二伪造图像重建原始图像获得重建图像;获得的重建图像作为输入图像和目标风格一起重新输入生成网络中,由生成网络生成获得更高质量的第二伪造图像;

经过前一步骤不断训练后的生成网络生成第三伪造图像输入判别网络进行图像风格的标签分类和真实/虚假判断。

2.根据权利要求1所述的双向图像风格转换方法,其特征是,所述判别网络包括多模态判别器,所述多模态判别器包括多个结构相同、输入特征图尺寸不同的判别器,所述多模态判别器用于将多个判别器的输出加权相加后获得最终的判别输出;

其中,生成对抗网络的损失函数的构建方法,包括:

基于生成第二风格图像与真实第二风格图像,确定生成网络的第一损失函数;以及基于生成第二风格图像的判别结果和真实第二风格图像,确定判别网络的第二损失函数;

根据第一损失函数和第二损失函数,结合多模态判别器对不同尺寸特征图的判别结果,获得生成对抗网络的损失函数。

3.根据权利要求2所述的双向图像风格转换方法,其特征是,确定的第一损失函数,包括:,

式中,训练图像的配对数据集由(x,y)表示,x为真实第一风格图像,y是真实第二风格图像,E为分布函数的数学期望,G(x)表示生成网络 G 生成的生成第二风格图像;

确定的第二损失函数,包括:

式中,D(x,y)表示判别网络D对于真实样本的预测概率,D(x,G(x,z))表示判别器对于生成样本的预测概率,为真实标签,对于真实样本为1,对于生成样本为 0,z为随机噪声,是判别网络D对于真实第一风格图像和真实第二风格图像预测概率的数学期望, 是判别网络D对于真实第一风格图像和生成第二风格图像预测概率的数学期望;

确定的生成对抗网络的损失函数 ,包括:

式中,,,为多模态判别器在三个尺度上对目标风格的输出图像进行判别,分别为原图,原图的1/2降采样图,原图的1/4降采样图,λ为第一损失函数的超参数, (G,)为第二损失函数,(G,)为第一损失函数。

4.根据权利要求1所述的双向图像风格转换方法,其特征是,所述注意力特征图的获得方法,包括:根据获得的中间特征图进行通道注意力计算,获得通道注意力特征;

根据获得的通道注意力特征,与中间特征图做基于元素排列乘法操作,获得空间注意力输入特征;

根据获得的空间注意力输入特征,进行空间注意力计算,获得空间注意力特征;

将空间注意力特征和通道注意力特征做乘法,获得注意力特征图。

5.根据权利要求4所述的双向图像风格转换方法,其特征是,所述生成网络还包括MFG网络模块,所述MFG网络模块用于增强特征二维注意力模块获得的注意力特征图的特征表示,包括:将注意力特征图进行分组,每一组并行进行操作;

每组特征与其经过全局平均池化后的特征矩阵对应元素相乘,得到初始注意力掩码;

将初始注意力掩码平均,并做减去均值除以标准差的标准化处理,同时学习两个缩放偏移参数 w、b,经过 Sigmoid 激活后与原特征图对应元素相乘得到最终的输出特征。

6.根据权利要求5所述的双向图像风格转换方法,其特征是,所述生成网络为跳跃网络架构。

7.根据权利要求6所述的双向图像风格转换方法,其特征是,所述第一风格包括动漫/真实人像风格;

通过预先训练好的生成对抗网络中的生成网络对待转换的所述第一风格图像的图像风格进行转换,得到第二风格图像,还包括:在将待转换的所述第一风格图像输入生成网络前对待转换的所述第一风格图像增加动漫人像风格记号或真实人像风格记号;

根据增加的风格记号对输入生成网络的图像风格进行判别,根据判断结果选择生成网络的图像风格转换方式。

8.一种双向图像风格转换装置,其特征在于,包括:

第二获取模块:用于获取待转换的第一风格图像;

转换模块:用于通过预先训练好的生成对抗网络中的生成网络对待转换的所述第一风格图像的图像风格进行转换,得到第二风格图像,其中,所述生成网络包括卷积层、转置卷积层、反卷积层和特征二维注意力模块;所述卷积层用于对第一风格图像进行卷积运算,获得第一风格的初始特征图;所述转置卷积层用于将初始特征图转换为第二风格的中间特征图;所述特征二维注意力模块用于对中间特征图进行通道和空间上的注意力计算获得注意力特征图;所述反卷积层用于对注意力特征图进行反卷积运算,以获得生成的第二风格图像;

所述预先训练好的生成对抗网络为通过生成对抗网络的训练装置训练后得到;

所述生成对抗网络的训练装置,包括:

第一获取模块:用于获取用于训练的图像数据集,其中所述图像数据集包括多个真实第一风格图像以及对应的真实第二风格图像;

训练模块:用于利用所述图像数据集对生成对抗网络进行训练,获得训练好的生成对抗网络;其中,所述生成对抗网络包括生成网络和判别网络,训练过程具体包括:将真实第一风格图像输入生成网络,得到生成第二风格图像;

将生成第二风格图像输入判别网络,得到生成第二风格图像的判别结果;

基于所述生成第二风格图像与真实第二风格图像以及生成第二风格图像的判别结果,利用预构建的生成对抗网络的损失函数,进行迭代训练,直至达到预设条件,得到训练好的生成对抗网络;

所述生成对抗网络的模型构建装置,包括:

第一构建模块:用于向判别网络输入真实图像与第一伪造图像,构建训练判别网络学习区分真实图像和生成的第一伪造图像,并对输入判别网络的图像的风格进行分类,生成图像属性标签;

第二构建模块:生成网络将输入图像和待生成的目标风格标签都作为输入,并生成第二伪造图像,在此过程中,目标风格标签在空间上被复制并与输入图像连接;

第三构建模块:生成网络尝试在给定原始图像风格标签的情况下从第二伪造图像重建原始图像获得重建图像;获得的重建图像作为输入图像和目标风格一起重新输入生成网络中,由生成网络生成获得更高质量的第二伪造图像;

第四构建模块:经过第三构建模块不断训练后的生成网络生成第三伪造图像输入判别网络进行图像风格的标签分类和真实/虚假判断。