利索能及
我要发布
收藏
专利号: 2025100880620
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗网络和稳定扩散模型的丝巾图案生成方法,包括如下步骤:

(1)收集大量的花卉丝巾图案和花卉纹样图案,经预处理后输入至基于ComfyUI和SDXL模型的图案扩增工作流中,用以构建花卉丝巾图案数据集,具体地:首先对花卉丝巾图案进行数据清洗,筛除其中不合格的花卉丝巾图案,然后从合格的花卉丝巾图案中选取符合条件要求的花卉丝巾图案作为数据集并在此基础上进行扩增,将这些花卉丝巾图案连同花卉纹样图案输入至基于ComfyUI和SDXL模型的图案扩增工作流中,利用花卉丝巾图案学习构图主题,利用花卉纹样图案学习风格元素,将学习到的特征融合以生成新的花卉丝巾图案,从而构建花卉丝巾图案数据集;

所述图案扩增工作流接受花卉丝巾图案、花卉纹样图案、正向prompt以及反向prompt作为输入,其中正向prompt除了基础的质量提示词之外,额外添加经WD14标注后得到的通用提示词,反向prompt只使用基础的质量提示词;花卉丝巾图案和花卉纹样图案经过裁剪后输入到IPAdapter‑Plus节点,该节点首先使用一个预训练的CLIP编码器从带有提示词的图案中提取图像特征,然后使用一种解耦交叉注意力机制即文本特征和图像特征的交叉注意力层是分开的,为SDXL模型U‑Net中的每个交叉注意力层添加了一个新的交叉注意力层,使得图像特征通过该解耦交叉注意力机制引导图像生成过程;通过这种方式,图像特征被独立地嵌入到SDXL模型的U‑Net中,同时SDXL模型将输入的提示词转换为潜变量,并通过U‑Net不断优化这些潜变量,从而得到一个含有噪音的潜变量;最后再通过一个用于去噪的Refiner模型对特征融合后的图案进行细化处理;

(2)构建基于StyleGAN架构改进的丝巾图案生成模型,其由生成器和判别器两部分组成;生成器中的映射网络从正态分布中采样噪声向量映射到另一个潜空间中,产生多个用于控制丝巾图案生成的风格特征,这些风格特征从不同的位置输入到合成网络中,生成花卉丝巾图案Silk_G;判别器利用花卉丝巾图案数据集判断Silk_G是真的还是由生成器生成的;

(3)对上述丝巾图案生成模型进行训练,完成训练后利用该模型生成半成品的花卉丝巾图案作为参考图像,输入基于SDXL模型的图生图工作流中进行重绘,即可自动生成成品的花卉丝巾图案,具体地:基于ComfyUI工作流构建一个图生图的重绘流程,该流程所需的隐变量为丝巾图案生成模型生成的花卉丝巾图案,作为一个基础的图案样式、构图及色彩的参考图像,同时采用IPAdapter‑Plus节点学习参考图像,从中参考图案风格以保证风格不变,进而完成花卉丝巾图案的重绘,最后再由Refiner模型完成细化,得到成品的花卉丝巾图案。

2.根据权利要求1所述的一种基于生成对抗网络和稳定扩散模型的丝巾图案生成方法,其特征在于:所述步骤(2)中的丝巾图案生成模型在StyleGAN基础上做了相应的改进,即在生成器的输入部分添加了自注意力机制,在生成器的输出部分以及判别器的输入部分添加了边框注意力机制,有效提高了模型最终生成花卉丝巾图案的清晰度和规范性。

3.根据权利要求1所述的一种基于生成对抗网络和稳定扩散模型的丝巾图案生成方法,其特征在于:所述生成器中的映射网络由多个全连接层级联构成,其产生的潜变量通过仿射变换处理形成风格特征,生成器中的合成网络由多个子模块级联构成,每个子模块对输入添加经过广播运算处理的高斯噪声,并通过AdaIN引入风格特征,再经过卷积处理后重复添加噪声并引入风格特征,最后经过自注意力机制输出;从第二个子模块开始对输入进行上采样,在最后一个子模块中使用边框注意力机制替换自注意力机制。

4.一种计算机设备,包括存储器和处理器,所述存储器中存有计算机程序,其特征在于:所述处理器用于执行该计算机程序以实现权利要求1~3任一项权利要求所述的一种基于生成对抗网络和稳定扩散模型的丝巾图案生成方法。

5.一种计算机可读存储介质,存储有计算机程序,其特征在于:所述计算机程序被处理器执行时以实现权利要求1~3任一项权利要求所述的一种基于生成对抗网络和稳定扩散模型的丝巾图案生成方法。