1.一种基于颜色标签的漫画线稿图的着色方法,其特征在于,包括:获取目标线稿图和对应的文本标签;所述目标线稿图包括至少两个动漫人物;所述文本标签为对目标线稿图着色的颜色标签;
将所述目标线稿图和对应的文本标签输入线稿图着色模型,得到所述目标线稿图的彩色图像和彩色插图;
其中,所述线稿图着色模型的确定方法包括:
采用训练数据集对MulTag2Pix网络进行训练,并将训练好的MulTag2Pix网络中训练好的生成器确定为所述线稿图着色模型;
所述训练数据集包括:训练线稿图以及对应的文本标签、真实彩色图像和真实彩色插图;所述MulTag2Pix网络包括依次连接的生成器和鉴别器;所述生成器包括:特征提取模块、风格迁移模块和细化着色模块;
所述特征提取模块用于对输入的线稿图进行特征提取,得到特征提取信息;所述特征提取信息包括:不同动漫人物的边缘分割信息和单个动漫人物内部区域的特征信息;
所述风格迁移模块用于对输入的文本标签提取空间特征和语义特征,并根据所述特征提取信息、所述语义特征和所述空间特征进行风格迁移,得到风格化特征图;
所述细化着色模块用于根据所述特征提取信息、所述语义特征和所述风格化特征图进行解码,得到与输入的线稿图对应的彩色图像和彩色插图。
2.根据权利要求1所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述特征提取模块包括:第一特征提取单元、第二特征提取单元和第一特征融合单元;所述第一特征提取单元包括:U‑Net网络;所述第二特征提取单元包括:ResNeXt‑50网络;
所述第一特征提取单元用于对输入的线稿图进行特征提取,得到第一特征;所述第一特征包括:不同动漫人物的边缘分割信息;
所述第二特征提取单元用于根据输入的线稿图确定骨架预测图,并对所述骨架预测图进行特征提取,得到第二特征;所述第二特征包括:单个动漫人物内部区域的特征信息;
所述第一特征融合单元用于将所述第一特征和所述第二特征融合,得到所述特征提取信息。
3.根据权利要求1所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述风格迁移模块包括:CVT编码器、AdaIN块和第二特征融合单元;
所述编码器用于对输入的文本标签提取空间特征和语义特征;
所述AdaIN块用于根据所述特征提取信息和所述语义特征进行风格迁移,得到第三特征;
所述第二特征融合单元用于将所述第三特征和所述空间特征融合,得到所述风格化特征图。
4.根据权利要求3所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述CVT编码器包括:第一编码单元和第二编码单元;
所述第一编码单元包括:依次连接的一个全连接层和三个卷积层;所述第一编码单元用于对输入的文本标签提取空间特征;
所述第二编码单元包括:依次连接的四个全连接层;所述第二编码单元用于对输入的文本标签提取语义特征。
5.根据权利要求3所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述AdaIN块包括:三个相同且依次连接的子模块;所述子模块包括:依次连接的卷积层、自适应实例归一化层和激活函数。
6.根据权利要求1所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述细化着色模块包括:生成解码器和引导解码器;
所述生成解码器用于根据所述特征提取信息、所述语义特征和所述风格化特征图进行解码,得到与输入的线稿图对应的彩色图像;
所述引导解码器用于根据所述风格化特征图进行解码,得到与输入的线稿图对应的彩色插图。
7.根据权利要求6所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述生成解码器包括:依次连接的四个解码层和一个卷积层;所述解码层包括:依次连接的ConvNeXt块和PixelShuffle层。
8.根据权利要求6所述的基于颜色标签的漫画线稿图的着色方法,其特征在于,所述引导解码器包括:依次连接的四个卷积层。
9.一种基于颜色标签的漫画线稿图的着色系统,其特征在于,包括:线稿图获取模块,用于获取目标线稿图和对应的文本标签;所述目标线稿图包括至少两个动漫人物;所述文本标签为对目标线稿图着色的颜色标签;
线稿图着色模型确定模块,用于确定线稿图着色模型;
线稿图着色模块,用于将所述目标线稿图和对应的文本标签输入线稿图着色模型,得到所述目标线稿图的彩色图像和彩色插图;
所述线稿图着色模型确定模块,具体包括:
模型训练单元,用于采用训练数据集对MulTag2Pix网络进行训练,并将训练好的MulTag2Pix网络中训练好的生成器确定为所述线稿图着色模型;
所述训练数据集包括:训练线稿图以及对应的文本标签、真实彩色图像和真实彩色插图;所述MulTag2Pix网络包括依次连接的生成器和鉴别器;所述生成器包括:特征提取模块、风格迁移模块和细化着色模块;
所述特征提取模块用于对输入的线稿图进行特征提取,得到特征提取信息;所述特征提取信息包括:不同动漫人物的边缘分割信息和单个动漫人物内部区域的特征信息;
所述风格迁移模块用于对输入的文本标签提取空间特征和语义特征,并根据所述特征提取信息、所述语义特征和所述空间特征进行风格迁移,得到风格化特征图;
所述细化着色模块用于根据所述特征提取信息、所述语义特征和所述风格化特征图进行解码,得到与输入的线稿图对应的彩色图像和彩色插图。