利索能及
我要发布
收藏
专利号: 2023113988371
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于颜色标签的漫画线稿图的着色方法,其特征在于,包括:获取目标线稿图和对应的文本标签;所述目标线稿图包括至少两个动漫人物;所述文本标签为对目标线稿图着色的颜色标签;

将所述目标线稿图和对应的文本标签输入线稿图着色模型,得到所述目标线稿图的彩色图像和彩色插图;

其中,所述线稿图着色模型的确定方法包括:

采用训练数据集对MulTag2Pix网络进行训练,并将训练好的MulTag2Pix网络中训练好的生成器确定为所述线稿图着色模型;

所述训练数据集包括:训练线稿图以及对应的文本标签、真实彩色图像和真实彩色插图;所述MulTag2Pix网络包括依次连接的生成器和鉴别器;所述生成器包括:特征提取模块、风格迁移模块和细化着色模块;

所述特征提取模块用于对输入的线稿图进行特征提取,得到特征提取信息;所述特征提取信息包括:不同动漫人物的边缘分割信息和单个动漫人物内部区域的特征信息;

所述风格迁移模块用于对输入的文本标签提取空间特征和语义特征,并根据所述特征提取信息、所述语义特征和所述空间特征进行风格迁移,得到风格化特征图;

所述细化着色模块用于根据所述特征提取信息、所述语义特征和所述风格化特征图进行解码,得到与输入的线稿图对应的彩色图像和彩色插图。

2.根据权利要求1所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述特征提取模块包括:第一特征提取单元、第二特征提取单元和第一特征融合单元;所述第一特征提取单元包括:U‑Net网络;所述第二特征提取单元包括:ResNeXt‑50网络;

所述第一特征提取单元用于对输入的线稿图进行特征提取,得到第一特征;所述第一特征包括:不同动漫人物的边缘分割信息;

所述第二特征提取单元用于根据输入的线稿图确定骨架预测图,并对所述骨架预测图进行特征提取,得到第二特征;所述第二特征包括:单个动漫人物内部区域的特征信息;

所述第一特征融合单元用于将所述第一特征和所述第二特征融合,得到所述特征提取信息。

3.根据权利要求1所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述风格迁移模块包括:CVT编码器、AdaIN块和第二特征融合单元;

所述编码器用于对输入的文本标签提取空间特征和语义特征;

所述AdaIN块用于根据所述特征提取信息和所述语义特征进行风格迁移,得到第三特征;

所述第二特征融合单元用于将所述第三特征和所述空间特征融合,得到所述风格化特征图。

4.根据权利要求3所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述CVT编码器包括:第一编码单元和第二编码单元;

所述第一编码单元包括:依次连接的一个全连接层和三个卷积层;所述第一编码单元用于对输入的文本标签提取空间特征;

所述第二编码单元包括:依次连接的四个全连接层;所述第二编码单元用于对输入的文本标签提取语义特征。

5.根据权利要求3所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述AdaIN块包括:三个相同且依次连接的子模块;所述子模块包括:依次连接的卷积层、自适应实例归一化层和激活函数。

6.根据权利要求1所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述细化着色模块包括:生成解码器和引导解码器;

所述生成解码器用于根据所述特征提取信息、所述语义特征和所述风格化特征图进行解码,得到与输入的线稿图对应的彩色图像;

所述引导解码器用于根据所述风格化特征图进行解码,得到与输入的线稿图对应的彩色插图。

7.根据权利要求6所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述生成解码器包括:依次连接的四个解码层和一个卷积层;所述解码层包括:依次连接的ConvNeXt块和PixelShuffle层。

8.根据权利要求6所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述引导解码器包括:依次连接的四个卷积层。

9.一种基于颜色标签的漫画线稿图的着色系统,其特征在于,包括:线稿图获取模块,用于获取目标线稿图和对应的文本标签;所述目标线稿图包括至少两个动漫人物;所述文本标签为对目标线稿图着色的颜色标签;

线稿图着色模型确定模块,用于确定线稿图着色模型;

线稿图着色模块,用于将所述目标线稿图和对应的文本标签输入线稿图着色模型,得到所述目标线稿图的彩色图像和彩色插图;

所述线稿图着色模型确定模块,具体包括:

模型训练单元,用于采用训练数据集对MulTag2Pix网络进行训练,并将训练好的MulTag2Pix网络中训练好的生成器确定为所述线稿图着色模型;

所述训练数据集包括:训练线稿图以及对应的文本标签、真实彩色图像和真实彩色插图;所述MulTag2Pix网络包括依次连接的生成器和鉴别器;所述生成器包括:特征提取模块、风格迁移模块和细化着色模块;

所述特征提取模块用于对输入的线稿图进行特征提取,得到特征提取信息;所述特征提取信息包括:不同动漫人物的边缘分割信息和单个动漫人物内部区域的特征信息;

所述风格迁移模块用于对输入的文本标签提取空间特征和语义特征,并根据所述特征提取信息、所述语义特征和所述空间特征进行风格迁移,得到风格化特征图;

所述细化着色模块用于根据所述特征提取信息、所述语义特征和所述风格化特征图进行解码,得到与输入的线稿图对应的彩色图像和彩色插图。