利索能及
我要发布
收藏
专利号: 2024116932601
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种利用草图自动生成笔画绘画的方法,其特征在于,包括以下步骤:

步骤1、首先训练模型中真实图像笔画信息预测模块Transformer‑S模块和笔画全局信息和草图信息融合模块Transformer‑M模块,使模块中的参数固定,用于草图到基于笔画的绘画生成;

步骤2、将草图输入到预训练好的真实图像生成模型Maskgit,得到真实图像,通过图像编码器,得到草图对应的真实图像的图像特征,将空白画布也通过图像编码器,得到画布特征,将这两者的特征在通道维度上融合,得到融合图像特征;同时将草图输入到草图编码器,得到对应的草图空间特征;

步骤3、将融合图像特征输入到训练好的Transformer‑S模块的编码器中,得到进一步融合的图像特征;然后将该融合图像特征输入到Transformer‑S模块的解码器中,得到笔画信息特征;

步骤4、将笔画信息特征和草图空间特征连接在一起,输入到训练好的Transformer‑M模块中,得到融合草图空间信息的笔画信息特征,经过全连接层得到笔画的参数;使用笔画参数渲染得到笔画,通过多个笔画的叠加,生成基于笔画风格的绘画。

2.根据权利要求1所述的利用草图自动生成笔画绘画的方法,其特征在于,所述的步骤

1中,真实图像笔画信息预测模块Transformer‑S和笔画全局信息和草图信息融合模块Transformer‑M的训练需要两个步骤,Transformer‑S模块需要先单独训练,之后再将Transformer‑S和Transformer‑M模块共同训练,具体训练方法包括以下步骤:步骤1.1、将草图输入到预训练的真实图像生成模型Maskgit中得到草图对应的真实图像X,再将得到的真实图像X输入到图像编码器E下采样至原来的1/4大小,得到包含图像的特征的特征图Zx;同时,将已有部分笔画的画布C,输入到图像编码器E下采样至原来的1/4大小,包含有部分笔画的画布的特征的特征图Zc;将两个特征在通道维度上拼接得到融合图像特征Z;

步骤1.2、将已有的融合图像特征Z输入到Transformer‑S的编码器模块,利用该模块编码器部分的自注意力机制提取融合图像特征,将得到的融合图像特征输入到Transformer‑S的解码器中作为交叉注意力中键和值,让需要查询的笔画信息特征融合图像信息特征,得到笔画信息特征,笔画信息特征经过全连接层得到笔画参数,渲染得到生成笔画 ,计算生成笔画与样本笔画之间的损失,笔画损失函数为:其中 表示生成笔画与样本笔画之间的像素损失,生成笔画和样

本笔画颜色差之间的绝对值; 表示生成笔画的参数与样本笔

画参数之间的L1损失,具体为参数的绝对值;

则是代表一次生成的八根笔画所构成的分布与样本的八个笔画所构成的笔画的分布之间的距离,具体为将笔画参数 ,代表笔画在画布的横坐标、纵坐标、宽度、高、旋转角度,通过以下公式计算笔画分布:所得笔画分布为 ;

代表的是模型得到的笔画置信度与样本笔画用传统

算法计算重合度得到的笔画置信度的二元交叉熵损失,具体为

,其中 代表样本笔画

中的置信度, 代表Transformer‑S模块预测生成笔画的置信度;通过 损失在随机笔画数据集中训练Transformer‑S模块;

步骤1.3、然后将笔画信息特征输入到Transformer‑M模块融合草图的空间结构信息,最后得到最终的笔画信息特征;笔画信息特征经过全连接层得到笔画参数,渲染得到笔画以及叠加得到绘画 ;在Transformer‑M模块中,生成绘画的损失不仅包括步骤1.2中的笔画损失,还需要计算草图和生成绘画之间的空间结构差距的判别器的损失,其损失函数为:其中Dis为判别器,实质为卷积网络用来提取图像空间结构特征,M为判别器的卷积网络的总层数,N为在t层需要对比的特征数, 则是表示图像X在卷积网络中第t层中第i个特征;生成绘画的总损失函数为笔画损失函数和判别器损失函数相加:通过 损失在草图数据集中训练Transformer‑S和Transformer‑M模块。

3.根据权利要求1所述的利用草图自动生成笔画绘画的方法,其特征在于,所述的步骤

3中,融合图像特征输入到训练好的Transformer‑S模块的编码器,得到进一步融合的图像特征,将该融合图像特征输入到Transformer‑S模块的解码器,采用空的笔画信息特征来查询融合图像特征得到带有融合图像信息的笔画信息特征。

4.根据权利要求1所述的利用草图自动生成笔画绘画的方法,其特征在于,所述的步骤

4中,将笔画信息特征和草图空间特征连接在一起,输入到Transformer‑M模块中,使用该模块的自注意机制得到融合草图信息的笔画信息特征,然后将笔画信息特征输入全连接层,输出融合草图空间信息的笔画参数和生成笔画置信度。

5.根据权利要求1所述的利用草图自动生成笔画绘画的方法,其特征在于,所述的步骤

4中,Transformer‑M模块输出包括生成笔画生成所需要的渲染参数和生成笔画的置信度;

根据笔画参数渲染生成笔画,并去掉置信度低于一定阈值的笔画,通过多个笔画的叠加,最后生成基于笔画风格的绘画。

6.利用草图自动生成笔画绘画的装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1‑5中任一项所述的利用草图自动生成笔画绘画的方法。

7.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑5中任一项所述的利用草图自动生成笔画绘画的方法。