利索能及
我要发布
收藏
专利号: 2021103335492
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗网络的无监督多模态图像转换方法,其特征在于:所述方法包括以下步骤:

1)输入属于A域的图像xa以及属于B域的图像xb进入图像跨域转换神经网络中进行训练,图像跨域转换神经网络为包含了生成器与判别器的生成对抗网络;

2)编码器将图像拆分编码为图像内容编码c以及域风格编码s;

3)针对不同的域图像配置不同的特定域编码m;

4)将内容编码c、域风格编码s和特定域编码m融合并解码,生成指定目标域图像,若将A域图像xa作为源域,则转换生成B目标域图像xa‑→b,若将B域图像xb作为源域,则转换生成A目标域图像xb‑→a;

5)判别器对生成器生成的图像进行质量评判,区分输入判别器的图像是真实图像或网络生成的假图像;

6)将步骤1)~5)不断重复设定的次数,生成器与判别器不断相互博弈,共同提高性能,直到网络收敛。

2.如权利要求1所述的一种基于生成对抗网络的无监督多模态图像转换方法,其特征在于:使用分配的域特定编码,仅使用一组生成器即可完成其他目标域图像的生成。

3.如权利要求2所述的一种基于生成对抗网络的无监督多模态图像转换方法,其特征在于:使用的域特定编码命名为mi,mi=xi+v,i为一个指定的特定域编号,其中xi为一个具有50*i个元素的向量,且50*i到50*(i+1)‑1为元素1,其余位置为元素0;v是一个符合正太分布的高斯噪声,v=N(0,0.2)。

4.如权利要求2或3所述的一种基于生成对抗网络的无监督多模态图像转换方法,其特征在于:所述生成器包含编码器与解码器的结构,编码器对图像进行编码操作,其中包含两个编码器结构:内容编码器,对图像的内容特征进行编码,生成内容编码;风格编码器,对图像的域风格特征进行编码,生成域风格编码;解码器在浅层空间对编码进行AdaIN仿射变换,对变换后的内容编码、域风格编码和特定域编码融合,合成对应的目标域风格图像。

5.如权利要求4所述的一种基于生成对抗网络的无监督多模态图像转换方法,其特征在于:在生成器以及判别器中都引入了注意力机制,设某一层神经网络提取到的特征图的通道数为n,对应的n张特征图用f1、f2…fn表示,引入的注意力机制为:对每个通道的特征图计算其表示重要性的权重,用w1、w2…wn表示,且所有的权重和为1,即 将每个通道对应的权重与特征图进行加权求和形成热力图,得到卷积网络的特征可视化结果,即