利索能及
我要发布
收藏
专利号: 201510601029X
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.视频人脸卡通动画生成方法,其特征在于,包括下列步骤:

步骤1:从输入视频选择一帧正面中性表情人脸图像作为参考帧,并截取参考帧的人脸图像,基于所述人脸图像的两眼距离对人脸图像进行尺寸归一化;

将所述人脸图像转换为灰度图像,获取所述灰度图像的特征点并保存特征点位置,所述特征点包括具有标志性的面部轮廓特征点、眉毛轮廓特征点、眼睛轮廓特征点、鼻子轮廓特征点;

根据获取的眉毛轮廓特征点、眼睛轮廓特征点、鼻子轮廓特征点对所述人脸图像中的眉毛、眼睛、鼻子分别进行重叠分块,且分块数大于或等于3;

在人脸图像块库中为所有分块寻找最佳匹配块,各最佳匹配块对应在卡通图像块库的卡通块即为找到的卡通匹配块,将卡通匹配块合成为完整的器官块,得到参考帧的卡通眉毛、卡通眼睛、卡通鼻子并保存;

以眉毛轮廓特征点为中心,将灰度图像的眉毛分成M个矩形块作为初始眉毛模板,其中M表示眉毛轮廓特征点个数;

基于眼睛轮廓特征点获取眼睛高度h,并将h分为N段,获取各段端点的灰度值,并保存各段端点的灰度值、位置,其中N大于或等于3,卡通面部轮廓直接通过勾勒面部轮廓特征点合成并保存;

取得所述灰度图像中头发区域的掩膜,从而得到参考帧的卡通头发部分并保存;

步骤2:查找参考帧的相似帧作为卡通动画的起始帧;

步骤3:对起始帧及其后续帧进行人脸卡通画生成:

将当前帧图像转换为灰度图像;

基于当前帧眉毛模板获取当前帧的眉毛轮廓特征点位置,将参考帧的卡通眉毛作为当前帧的卡通眉毛,并按照特征点位置将卡通眉毛放到当前帧图像的相应位置,所述当前帧眉毛模板为:以上一帧眉毛模板作为滑动窗,在当前帧的预设滑动范围内查找与滑动窗的灰度值偏差最小的点,将该点作为新的中心点,并将滑动窗的中心点移至所述新的中心点得到当前帧眉毛模板,其中起始帧的上一帧眉毛模板为M个初始眉毛模板;

获取当前帧的鼻尖点的位置,并计算与参考帧的鼻尖点的位置变化值T,将参考帧的卡通鼻子作为当前帧的卡通鼻子,基于位置变化值T放到当前帧图像的相应位置;

将位置变化值T与参考帧的下眼皮特征点的位置相加,得到当前帧的下眼皮特征点的位置,基于参考帧的眼睛高度h和分段端点位置,在当前帧查找与N个端点的灰度值最接近的点,得到当前帧的眼睛高度h′,基于当前帧与参考帧的眼睛特征点的坐标映射,对参考帧的卡通眼睛进行仿射变换处理,得到当前帧的卡通眼睛,并放到当前帧图像的相应位置;

将参考帧的卡通面部轮廓、卡通头发部分作为当前帧的卡通面部轮廓、卡通头发部分,基于参考帧的各特征点的位置与位置变化值T,将其放到当前帧图像的相应位置;

获取当前帧具有标志性的嘴巴轮廓特征点,通过勾勒嘴巴轮廓特征点合成嘴巴轮廓线,得到当前帧的卡通嘴巴轮廓,并按照特征点位置将卡通嘴巴轮廓放到当前帧图像的相应位置;

对卡通化后的图像进行上色,生成当前帧的人脸卡通画。

2.如权利要求1所述的方法,其特征在于,所述步骤3中,生成当前帧的卡通嘴巴轮廓为:以当前帧的鼻尖点为参考在当前帧图像中确定嘴巴图像块,对所述嘴巴图像块进行下述步骤:提取嘴巴图像块所在的当前帧的原图,并分别得到RGB颜色空间、Lab颜色空间的对应图像块,再对两个图像块进行二值化处理:对RGB颜色空间,若像素点的R/(R-G)大于预设阈值时,设置像素点的像素值为1;否则设置为0,其中R、G表示颜色分量;对Lab颜色空间,若像素点的颜色分量a大于预设阈值,则设置像素点的像素值为1;否则设置为0;分别对两副二值化图像进行形态学变换,得到存在一个或两个连通域的R-G二值图、Lab二值图;

对R-G二值图进行水平方向投影并提取最左特征点XL和最右特征点XR,将所述XL和XR的均值Xmid作为嘴唇垂直中线坐标,若Lab二值图存在两个连通域,则提取四个嘴唇轮廓中心点:所述嘴唇垂直中线坐标上像素变化的四个特征点分别作为上下唇内外轮廓中心点;若Lab二值图存在一个连通域,则提取三个嘴唇轮廓中心点:所述嘴唇垂直中线坐标上像素变化的两个特征点分别作为上下唇内外轮廓中心点,再取该两个中心点均值作为中唇线中心点;

连通最左特征点XL、最右特征点XR和嘴唇轮廓中心点合成嘴巴轮廓线,得到当前帧的卡通嘴巴轮廓。

3.如权利要求1或2所述的方法,其特征在于,在对卡通嘴巴轮廓上色时,设置闭合区域内部与外唇线的颜色的R颜色分量通道的差值为20-30,且外唇线的R颜色分量小于闭合区域内部。

4.如权利要求3所述的方法,其特征在于,若嘴巴轮廓线存在中唇线,则用黑色线条进行上色。

5.如权利要求1或2所述的方法,其特征在于,所述步骤1中,生成参考帧的卡通面部轮廓为:将参考帧的面部轮廓特征点分为三段,第一段为左边脸部轮廓、第二段为下巴轮廓、第三段为右边脸部轮廓;将第一段、第三段的特征点在左右领域内整体移动,对第二段的特征点在上下领域内整体移动,将其调整至对应脸部轮廓上;

从左边脸部轮廓到右边轮廓的顺序,对各特征点进行顺序编号,除第一个和最后一个特征点外,依次对各特征点进行中值调整:即取当前特征点的前后两个特征点的竖直坐标中值作为当前特征点的竖直坐标值;基于曲线拟合的方法对调整后的面部轮廓特征点进行轮廓线的平滑。

6.如权利要求5所述的方法,其特征在于,还包括:定义越靠近参考帧的人脸图像的头顶方向的竖直坐标越小,提取编号为最中间的5个特征点的竖直坐标:yt-2、yt-1、yt、yt+1、yt+2;

若yt-1小于yt-2,则令yt-1=yt-1+y,直到yt-1大于yt-2;若yt+1小于yt+2,则令yt+1=yt+1+y,直到yt+1大于yt+2;设置yt=max(yt-1,yt+1)+y,其中增加步长y的取值为:0.5~1.5。

7.如权利要求1所述的方法,其特征在于,所述步骤2中,参考帧的相似帧为:提取参考帧的后续帧的人脸图像,并与参考帧的人脸图像的灰度图像做差,取差值小于参考帧的人脸图像的10%的视频帧作为参考帧的相似帧。