利索能及
我要发布
收藏
专利号: 2022105484443
申请人: 山东力聚机器人科技股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于,包括以下步骤:

S1. 数据集准备:针对任务需求收集成对的图像和所述图像对应的语义分割标签,作为训练时的目标域数据;从互联网收集与目标域中翻译后的图像相似或相关的图像,不需要标签,作为训练时的源域数据;

S2. 数据集预处理:统一所述的目标域数据和源域数据中所有图像数据的尺寸;

S3. 训练源域网络模型中的源域生成器:使用所述的源域数据训练模型时,模型的输入为一个噪声向量,该噪声向量经过一个全连接层处理后,将新的向量重组统一成图像的尺寸,此时模型使用批次正则化层;

S4. 训练目标域网络模型中的目标域生成器:使用所述的目标域数据训练模型时,模型接受的输入数据为待翻译图像和待翻译图像的语义分割标签,该语义分割标签用于空间自适应归一化层做条件正则化,加强待翻译图像对生成的翻译后图像的约束;

S5. 图像增广:使用自适应判决器进行增强,输入自适应判决器前的图像经过随机的增强,自适应判决器只判决增强后的图像;

S6. 训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器:源域网络模型中的源域判决器与目标域网络模型中的目标域判决器不共享正则化层;训练目标域判决网络时,目标域判决器接受的是目标域真实图像或合成图像,和真实图像的语义分割标签,所述的语义分割标签同样用于空间自适应归一化层作条件正则化;最后得到判决结果。

2.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于,在所述的数据集准备步骤中,收集的图像分为待翻译图像,待翻译图像语义分割标签,翻译后图像和翻译后图像语义分割标签,对应放置于四个文件夹中,作为目标域数据;使用与翻译后图像有关的公开数据集或从互联网上收集与翻译后图像相关的图像,作为源域图像,单独放置在一个文件夹中。

3.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于,在所述的训练源域网络模型中的源域生成器的步骤中,所述的噪声向量经过一个全卷积层升维,成为一个65536维度的向量,然后将65536维度的向量转换成256*256维的矩阵,之后输入到卷积层中,卷积后的正则化使用批次正则化层;源域生成器生成图像的过程需要经过降采样后再上采样生成256*256的假源域图像;源域判决器接收的图像是真实源域图像或假的源域图像,但是源域判决器接收的图像是经过增强后的图像。

4.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于, 在所述的训练目标域网络模型中的目标域生成器的步骤中,翻译前的图像和翻译后的图像并不处于同一分布,因此空间自适应归一化不对目标域生成器的最后上采样层进行约束,只对不包含上采样的其他层进行约束。

5.如权利要求4所述的基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于,在所述的训练目标域网络模型中的目标域生成器的步骤中,将对应层的批次正则化层的仿射参数迁移到空间自适应归一化中,帮助加强源域和目标域的联系。

6.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于,在所述的训练目标域网络模型中的目标域生成器的步骤中,目标域生成器接收待翻译图像和待翻译图像语义分割标签,待翻译图像的尺寸为256*256像素,不需要像训练源域网络时经过全连接层,直接进入卷积层网络;经过卷积后的特征图使用空间自适应归一化正则化,在空间自适应归一化正则化中使用实例正则化做基础正则化的方式进行计算,仿射变换则通过额外输入的待翻译图像语义分割标签进行,首先输入的待翻译图像语义分割标签经过一次卷积得到输出后,分别经过两个卷积得到两个张量,这两个张量作为仿射变换参数中的缩放量和偏移量,然后先用源域网络模型中的批次正则化层的仿射参数对特征图分布进行还原,之后用缩放量和偏移量对特征图进行元素级的相乘和相加,得到最终输出;空间自适应归一化层只用在下采样和中间的卷积块中,上采样和源域共享批次正则化层,最终得到假目标域的翻译后图像。

7.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于,在所述的图像增广的步骤中,采用自适应判决器增强,图像的增广变化发生在输入自适应判决器之前,而不是自适应生成器之前;图像送入到自适应判决器之前要随机经过颜色变化或随机遮挡的增广方式,采用的随机概率为安全值0.8;判决的图像都将是经过

0.8概率增广后的图像。

8.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法,其特征在于,在所述的训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器的步骤中,自适应判决器接收真实的翻译后图像或假的翻译后图像,和真实翻译后图像的语义分割标签;自适应判决器接收的真实图像或假的图像进入卷积层提取特征;真实翻译后图像的语义分割标签则用作空间自适应归一化层进行条件正则化;在自适应判决器中使用空间自适应归一化能够使得自适应判决器关注关键的目标区域;最后得到判决结果。

9.一种基于域自适应先验知识引导生成对抗网络的图像生成系统,其特征在于,包括数据集准备模块、数据集预处理模块、训练源域网络模块、训练目标域生成网络模块、图像增广模块和训练目标域判决网络模块,所述的数据集准备模块用于针对任务需求收集成对的图像和所述图像对应的语义分割标签,作为训练时的目标域数据;从互联网收集与目标域中翻译后的图像相似或相关的图像,不需要标签,作为训练时的源域数据;所述的数据集预处理模块用于统一所述的目标域数据和源域数据中所有图像数据的尺寸;所述的训练源域网络模块使用所述的源域数据训练模型,模型的输入为一个噪声向量,该噪声向量经过一个全连接层处理后,将新的向量重组成统一的图像尺寸,此时模型使用批次正则化作为正则化层;所述的训练目标域生成网络模块使用所述的目标域数据训练模型,模型接受的输入数据为待翻译图像和待翻译图像的语义分割标签,该语义分割标签用于空间自适应归一化层做条件正则化,加强待翻译图像对生成的翻译后图像的约束;所述的图像增广模块使用自适应判决器进行增强,输入自适应判决器前的图像经过随机的增强,自适应判决器只判决增强后的图像;所述的训练目标域判决网络模块采用自适应判决器接收真实的翻译后图像或假的翻译后图像,和真实翻译后图像的语义分割标签;自适应判决器接收到的真实图像或假图像进入卷积层提取特征;真实翻译后图像的语义分割标签则用作空间自适应归一化层进行条件正则化;在自适应判决器中使用空间自适应归一化能够使得自适应判决器关注关键的目标区域。