1.一种动画视频自动生成方法,其特征是按如下步骤进行:
步骤1:构建一个基于生成对抗网络的图像生成模块T:
设置所述图像生成模块T包含一个生成网络G和一个判别网络D;
设置所述生成网络G依次包含两个U-Net模块和一个ResNet模块;
设置任意一个U-Net模块包含:m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块;
以每两个卷积模块为一组,前(m-2)/4组卷积模块与k个池化模块交替相连,共同组成编码模块,后(m-2)/4组卷积模块与k个反卷积模块交替相连,共同组成解码模块,从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块;
设置所述ResNet模块包括:c个相同的残差块,且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成;
设置所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块,以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块,其中s个所述判别卷积模块与s个池化模块交替相连,第s个池化模块后与所述输出模块相连;
步骤2:构建一个基于卷积神经网络的预测模块P:
设置所述预测模块P依次包含:p个所述U-Net模块、q个所述ResNet模块、一个编码器模块和一个解码器模块;
设置所述编码器模块依次包含:h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块;
设置所述解码器模块依次包含:h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块;
步骤3:构建一个基于卷积神经网络的插帧模块I:
设置所述插帧模块I依次包含:w个所述U-Net模块,v个所述ResNet模块;
步骤4:将两张手绘分镜草图x1,x2输入所述图像生成模块T中,得到对应的两张动画风格的图像帧F1,F2;
步骤5:将所述两张动画风格的图像帧F1,F2输入基于全卷积网络的语义分割网络中,得到两张语义分割图像;
将所述两张语义分割图像和两张动画风格的图像帧F1,F2一起输入所述预测模块P中,得到图像帧F1,F2之间的J张预测图像帧{F1,j|j=1,2,...J};
将所述图像帧F1,F2分别作为第一帧图像和最后一帧图像,将J张预测图像帧{F1,j|j=
1,2,...J}作为中间帧图像,从而共同构成J+2张的图像帧序列{fi|i=1,2,...J+2};
步骤6:将所述J+2张的图像帧序列{fi|i=1,2,...J+2}中任意相邻两张图像帧作为一组,从而得到J+1组相邻帧;将任意第x组相邻帧fx,fx+1输入所述插帧模块I,得到第x组相邻帧fx,fx+1的Y张插帧图像,记为 并将所述第x组相邻帧fx,fx+1分别作为第一帧图像和最后一帧图像,将Y张插帧图像 作为中间帧图像,从而共同构成Y+2张的插帧图像序列;从而得到J+1组相邻帧的插帧图像集合并与相应的相邻帧共同构成Y×(1+J)+2+J张图像帧集合作为由手绘分镜草图x1,x2生成的动画序列。
2.一种动画视频自动生成装置,其特征是包括:基于生成对抗网络的图像生成模块T、基于卷积神经网络的预测模块P和基于卷积神经网络的插帧模块I;
所述基于生成对抗网络的图像生成模块T用于将手绘分镜草图转换为对应的动画风格的图像帧,并包含一个生成网络G和一个判别网络D;
所述生成网络G依次包含两个U-Net模块和一个ResNet模块;
任意一个U-Net模块包含:m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块;
以每两个卷积模块为一组,前(m-2)/4组卷积模块与k个池化模块交替相连,共同组成编码模块,后(m-2)/4组卷积模块与k个反卷积模块交替相连,共同组成解码模块,从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块;
所述ResNet模块包括:c个相同的残差块,且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成;
所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块,以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块,其中s个所述判别卷积模块与s个池化模块交替相连,第s个池化模块后与所述输出模块相连;
所述基于卷积神经网络的预测模块P用于预测两张动画风格的图像帧之间的多张图像帧,并依次包括:p个所述U-Net模块、q个所述ResNet模块、一个编码器模块、一个解码器模块;
所述编码器模块依次包含:h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块;
所述解码器模块依次包含:h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块;
所述基于卷积神经网络的插帧模块I用于对所预测得到多张图像帧中的任意两个相邻帧图像进行插帧处理,得到插帧图像集合,并依次包含:w个所述U-Net模块,v个所述ResNet模块。