利索能及
我要发布
收藏
专利号: 202410568964X
申请人: 广州镜轩科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于深度学习的动漫草图生成的改进系统,其特征在于:包括服务器、场景识别单元、修复构建单元和编辑计算单元;

当服务器监测到运行指令后,场景识别单元基于动漫视频流图像序列进行帧图像提取,并基于卷积神经网络对动漫场景进行分类筛选为动漫角色场景和动漫环境场景,再将场景识别结果发送给构建计算单元;

修复构建单元接收到场景识别结果,通过建立变换补充网络模型对场景缺失区域进行填充补全,进而根据变换补充网络模型输出结果对帧图像进行叠合,进而生成二维草图,再将二维草图带入预设的3D深度网络模型中对二维草图进行重建,生成相应的三维草图;

编辑计算单元的输入端与修复构建单元的输出端相连接,通过直接编辑三维草图生成新的动漫图像序列,并对草图和动漫图像序列的交互过程进行分析,计算出交互过程中的损失度,当损失度超过预设阈值,生成优化信号以进行优化操作。

2.根据权利要求1所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述基于神经网络进行筛选的具体工作过程为:步骤A1,实时获取动漫帧图像,提取出若干候选区帧图像,候选区图像为包含动漫角色的若干图像;

步骤A2,神经网络的输入层各神经元接收候选区图像,并将候选区图像传递给中间层各神经元,对样本候选区图像进行处理变换,获取候选区图像中的角色特征作为目标类型信息,并由输出层各神经元输出目标类型信息,进而按照梯度下降的方式对各层权值进行修正,减少误差,获得角色特征识别模型;

步骤A3,通过角色特征识别模型对预设时间内的帧图像进行筛选,并筛选出带有动漫角色的动漫角色场景,并标记为场景集合A,则预设时间内未被筛选的为动漫环境场景,并标记为场景集合B。

3.根据权利要求1所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述变换补充网络模型的具体工作过程为:构建变换补充网络模型:输入信息为场景集合A和场景集合B,输出设置为完整目标背景图像,具体步骤为:

步骤B1,先对场景集合A进行场景分离,获得目标人物图像和目标背景图像;再对目标背景图像进行均等区域分割,且区域点有N个,再通过卷积层和池化层对所有区域点进行像素特征和轮廓特征提取,并在场景集合B中进行特征搜索匹配,进而计算每个区域点i中两者之间的像素匹配差和轮廓匹配差,且分别标记为DXi和DLi;

步骤B2,像素匹配差DXi和轮廓匹配差DLi均为0时,表示完全匹配,进行目标背景图像缺失区域的填充补全;当像素匹配差DXi和轮廓匹配差DLi不为0时,表示不完全匹配,进而以像素匹配差DXi/轮廓匹配差DLi的比值为X轴,以区域点N为Y轴,建立直角坐标系,并绘制像素匹配差DXi/轮廓匹配差DLi‑区域点N的变化特征曲线;同时在坐标系中预设一条标准阈值曲线,获取变化特征曲线位于标准阈值曲线上方线段与标准阈值曲线所围成的面积,并标记为变换面积;预设变换面积阈值,将变换面积与预设变换面积阈值进行比较:当变换面积大于预设变换面积阈值时,生成变换信号,对目标背景图像的缺失区域进行填充补全。

4.根据权利要求3所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述生成变换信号的具体过程如下:对变换面积赋予相应的修正系数,将其与变换面积相结合生成权重变换系数,并标记为α,同时获取目标背景图像对应匹配的动漫环境场景,对动漫环境场景进行不同尺度的特征提取,并将网络感知层第w1层第w2个输出结果作为感知特征信息,且w1和w2均为正整数,并标记为特征S1,对特征S1对应的影像数据按照5:1:1的比例划分为训练集、验证集和测试集三个部分,并对特征S1赋予权重变换系数α,对变换补充网络模型进行训练学习,直至变换面积小于预设变换面积阈值,立即停止网络训练。

5.根据权利要求1所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述预设3D深度网络模型工作过程中,包括:步骤C1,输入信息为二维草图,具体为一个W*H的二值草图图像I,且I∈{0,1},其中W*H分别为二维草图的宽度和高度;再对其进行不同尺度的特征提取,并将特征信息标记特征S2;

步骤C2,预设一个三维空间,且三维空间被均等划分为多个正方体形式,将三维空间上的点进行投影并投影到二维草图上,得到相应的二维位置;再采用卷积核尺寸为1×1的卷积提取二维位置对应的特征信息,并连接预设区域内的特征信息形成区域局部特征信息,将其标记为特征S3;再将特征S2和特征S3进行融合,生成一维张量形式,并标记为S合;

步骤C3,将特征S合对应的影像数据按照3:1:1的比例划分为训练集、验证集和测试集三个部分,对特征S合赋予相应的权重,进行训练学习,得到最终输出信息,输出信息为带有高分辨率网格的三维草图。

6.根据权利要求1所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述编辑计算模块的具体工作过程为:步骤D1,构建影响分析模型:将输入信息标记为集合U,集合U包含N0个元素值,将任一个元素值标记为Xj,为N0个元素值分别赋予相应的权重系数,标记元素值Xj的权重系数为ej,且ej均大于0,Σej=1,通过建立公式输出集合U的影响系数Ue;

步骤D2,获取联动交互的判别模式,且判别模式有三种,分别为第一判别模式、第二判别模式和第三判别模式;再将三种判别模式下对应的判别参数代入到影响分析模型中,生成第一判别系数、第二判别系数和第三判别系数;

步骤D3,以第一判别系数为X轴,第二判别系数为Y轴,第三判别系数为Z轴构建三维动态图,并将三维动态图与标准阈值动态图进行叠合,然后获取其横向截图和纵向截图并对比生成重合总面积cmj和非重合总面积fmj,设定公式计算损失度g,将损失度和预设损失区间[G1,G2]进行对比分析,生成相应的优化信号。

7.根据权利要求6所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述生成第一判别系数的具体过程为:第一判别模式为帧图像到二维草图的生成过程:获取预设时间内的区域内的第一判别参数,第一判别参数包括变换面积和补线长度,并对应标记为a1和a2;其中,补线长度BC为对目标背景图像的缺失区域进行填充补全的线段长度值;

再将第一判别参数代入影响分析模型中,生成第一判别系数。

8.根据权利要求6所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述生成第二判别系数的具体过程为:第二判别模式为二维草图到三维草图的生成过程:先设定公式获得距离能量值P,再获取距离能量值P对应的等值面系数DZ,并将距离能量值P和等值面系数相结合,且赋予相应的转化系数生成距离指数b1;设定公式获得形状均方差值b2,再将距离指数b1和形状均方差值b2均标记为第二判别参数;

再获取预设时间内的区域内的第二判别参数,再将第二损失参数代入影响分析模型中,生成第二判别系数。

9.根据权利要求6所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述生成第三判别系数的具体过程为:第三判别模式为三维草图到真实图的生成过程:第三判别模式为三维草图到真实图的生成过程:获取预设时间内的区域内的缺失参数,缺失参数包括颜色缺失值,轮廓缺失值和纹理缺失值,并对应标记为c1,c2和c3;再对缺失参数进行初步处理,生成缺失程度值c4,并将缺失程度值c4归集到缺失参数当中,生成第三判别参数;

再获取预设时间内的区域内的第三判别参数,再将第三损失参数代入影响分析模型中,生成第三判别系数。

10.根据权利要求9所述的基于深度学习的动漫草图生成的改进系统,其特征在于:所述对缺失参数进行初步处理的具体过程为:步骤Sa,采集到该生成过程下开始时刻到结束时刻之间的时长,并将其标记为时间阈值T,进而将时间阈值T划分为m个子时间节点,且m大于0,获取到各个时间节点的缺失参数,再以时间为X轴,缺失参数为Y轴建立直角坐标系,并通过描点的方式在直角坐标系中绘制缺失参数变化曲线;

步骤Sb,在直角坐标系中还预设一条标准阈值曲线,将缺失参数变化曲线与预设变化阈值曲线进行对比,进而获取缺失参数变化曲线位于标准阈值曲线上方线段与标准阈值曲线所围成的面积;并以预设变化阈值曲线上的点为圆心,以r为半径进行画圆,当圆完全包括了面积,分配缺失参数的修正系数WX1,反之,分配缺失参数修正系数WX2,再将缺失参数与相应的修正系数相乘,生成缺失程度值c4。