利索能及
我要发布
收藏
专利号: 2022105951949
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:所述方法搭建生成对抗网络并训练;

生成对抗网络包括:

一个特征编码模块,用于在降采样过程中提取不同分辨率的特征图,并将图像特征进行编码,得到表示图像风格的均值 和方差 ;对 和 进行单次高斯采样得到风格噪声;

一个瑕疵生成模块,用于将从图像风格均值 与方差 采样得到的风格噪声进行上采样,并在上采样过程中不间断引入特征编码模块提取的特征图,得到合成的瑕疵样本;

瑕疵生成模块包括并列的瑕疵前景生成支路和瑕疵透明度生成支路;

所述瑕疵前景生成支路包括全连接层及6个上采样模块,每个上采样模块的输入输出间设有残差连接层,输入风格噪声 经过全连接层后得到的投影噪声 ,经过6个上采样模块后得到高分辨率特征图,经过Tanh激活函数输出前景图 ;

所述瑕疵透明度生成支路包括全连接层及6个上采样模块,每个上采样模块的输入和输出间设有残差连接层,输入标准正态分布噪声 ,经过6个上采样模块后得到高分辨率特征图,经过Sigmoid激活函数输出透明度图像 ;

得到 ,其中, 为合成瑕疵图, 为特征编

码模块的输入无瑕疵样本, 为瑕疵前景生成支路的输出, 为瑕疵透明度生成支路的输出;

一个鉴别器模块,用于判断输入样本是真实瑕疵样本还是合成瑕疵样本,在模型迭代训练过程中引导瑕疵生成模块合成瑕疵样本;

对于输入的待数据增强的有瑕疵布匹图像,以多层卷积和实例正则化进行多尺度特征提取与风格编码,以空间自适应归一化构建上采样卷积模块,以并行的2个卷积支路解耦网络任务,分别对应瑕疵前景和瑕疵透明度的生成,配合透明度控制、瑕疵形态与空间约束,最终得到数据增强后的有瑕疵布匹图片。

2.根据权利要求1所述的一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:所述特征编码模块包括5个卷积块和2个全连接层;

任一卷积块包括标准3×3卷积层、实例归一化层和泄漏线性激活函数层;

5个卷积块分别输出五个不同分辨率下的特征图 、 、 、 和 ,同时将 输入到两个并行的256维全连接层,分别计算出图像风格均值向量 和方差向量 。

3.根据权利要求1所述的一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:所述上采样模块包括由两个串联的卷积块构成,每个卷积块包括依次设置的SPADE层、非线性激活函数ReLU和标准3×3卷积。

4.根据权利要求2所述的一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:所述瑕疵生成模块的输入包括由特征编码模块得到的256维风格噪声 、特征编码模块中间层输出的特征图 、 、 、 和 及从预设瑕疵样本库中随机采样得到的瑕疵掩膜图 ;

将由风格噪声 输入对应的全连接层得到的投影噪声 及标准正态分布噪声分别输入对应的生成支路中6个上采样模块进行解码,同时在上采样模块输入瑕疵掩膜图引导解码;顺次在前5个上采样模块的输出端分别拼接特征图 、 、 、 、 ,作为下一级上采样模块的输入;对于瑕疵前景生成支路,特征图经过最后一个上采样模块将维度压缩到3维,经过对应的激活函数输出;对于瑕疵透明度生成支路,特征图经过最后一个上采样模块将维度压缩到1维,经过对应的激活函数输出。

5.根据权利要求1所述的一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:所述鉴别器模块包括三条并行支路 、 和 ,任一支路包括输入层和若干模块 ,所述模块 包括顺次设置的标准3×3卷积层、实例归一化层和泄露非线性激活函数层;

支路 中,模块 为3个,用于接收原始尺寸W×H的图像,进行鉴别;

支路 中,模块 为2个,用于接收尺寸为(W/2)×(H/2)的图像,进行鉴别;

支路 中,模块 为1个,用于接收尺寸为(W/4)×(H/4)的图像,进行鉴别。

6.根据权利要求1所述的一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:所述生成对抗网络的训练包括以下步骤:步骤1.1:设计损失函数;

步骤1.2:数据集制作与增强,得到瑕疵数据集 和无瑕疵布匹数据集 ;

步骤1.3:采用Adam优化器对网络模型参数进行优化,使用损失函数 训练瑕疵前景生成支路,使用损失函数 训练瑕疵透明度生成支路,在反向传播过程中优化瑕疵透明度生成支路。

7.根据权利要求6所述的一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:,

最终的损失函数 ;

其中 表示从真实瑕疵数据分布 采样得到的真实瑕疵样本, 表示从标准正态分布采样得到的随机噪声,表示从瑕疵生成器数据分布 采样得到的合成瑕疵样本,表示鉴别器, 表示生成器, 表示从真实瑕疵掩膜数据分布 真实瑕疵掩膜图,表示从瑕疵透明度生成器数据分布 采样得到的合成瑕疵透明度图; 是用于控制合成瑕疵真实度的超参数, 为控制权重惩罚强度的超参数, 是用于控制合成瑕疵透明度图与真实瑕疵掩膜图相似性的超参数。

8.根据权利要求6所述的一种基于生成对抗网络的布匹瑕疵数据增强方法,其特征在于:以训练好的生成对抗网络对布匹瑕疵数据增强包括以下步骤:步骤2.1:对无瑕疵布匹数据集 中的每张图像进行 次随机框选,得到若干256×

256像素的背景图,其中 范围在[2,10];

步骤2.2:对于每张背景图,从瑕疵数据集 中随机采样得到一张掩模图,将背景图和掩膜图共同输入到瑕疵生成网络模型得到合成瑕疵图;

步骤2.3:将合成瑕疵图贴回到步骤2.1中对应无瑕疵布匹图像的框选区域,得到一张由数据增强产生的有瑕疵布匹图片。