1.一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:所述方法包括以下步骤:
1)同时输入属于A风格图像xa以及属于B风格图像xb进入风格转换神经网络中,风格转换神经网络为包含了生成器与判别器的生成对抗网络;
2)根据源域的图像,风格转换神经网络生成目标域的图像,将A风格图像xa作为源域,则转换生成目标域B风格图像xa2b,将B风格图像xb作为源域,转换生成目标域A风格图像xb2a;
3)将源域的图像与转换生成的目标域的图像经过分割网络,在本发明中将其命名为ShapeNet,使用形状的一致性损失对生成图像进行约束,保证源域的图像与生成转换的目标域图像具有相同的边缘形状;
4)将源域的图像与转换生成的目标域图像经过感知网络,在本发明中将其命名为PerceptionNet,使用感知损失对生成图像进行约束,保证源域的图像与生成转换的目标域图像具有高层信息的一致性;
5)判别器对生成器生成的图像进行质量评判,区分输入判别器的图像是真实图像或网络生成的假图像。
6)将步骤1)~5)不断重复设定的次数,生成器与判别器不断相互博弈,共同提高性能,直到网络收敛。
2.如权利要求1所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:所述风格转换神经网络通过使用对应于不同风格的独立编解码器结构,充分学习了如何将图像编码成内容编码以及风格编码;风格转换神经网络包括两组生成器与判别器,分别针对源域图像与目标域图像进行图像的生成与判别。
3.如权利要求1或2所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:针对每一组的生成器,其中包含了编码器与解码器的结构,编码器对图像进行编码操作,其中包含了两个编码器结构:内容编码器,对图像的内容特征进行编码,生成内容编码;
风格编码器,对图像的风格特征进行编码,生成风格编码;解码器对编码器完成的编码进行解码,将内容编码与风格编码融合,合成对应的目标域风格图像。
4.如权利要求2所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:引入了一种注意力机制,将卷积网络提取的特征进行可视化后形成热力图,根据热力图,教会了神经网络能够关注于重要的区域。
5.如权利要求4所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:在生成器以及判别器中都引入了注意力机制,设某一层神经网络提取到的特征图的通道数为n,对应n张特征图,引入的注意力机制为:对每个通道的特征图计算其表示重要性的权重,且所有的权重和为1将每个通道对应的权重与特征图进行加权求和形成热力图,得到卷积网络的特征可视化结果。
6.如权利要求1或2所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:引入了一个训练过的分割网络,保证了边缘形状的一致性。
7.如权利要求6所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:使用的分割网络结构为特征金字塔,使用具有真实标签的分割数据集进行训练,经过测试能够很好的对图像的边缘信息进行分割。
8.如权利要求1或2所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:引入了感知网络与感知损失,保证了高层信息的一致性。
9.如权利要求8所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:感知网络可选用预训练的VGG或ResNet,利用预训练网络提取图像的特征。
10.如权利要求8所述的一种基于生成对抗网络的非匹配图像风格转换方法,其特征在于:感知损失最小化源域图像以及转换后的目标域图像在特征层面的差异。