利索能及
我要发布
收藏
专利号: 2016100383614
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸特征点跟踪方法,其特征在于,包括如下步骤:

步骤001.采集预设数量N张人脸样本图像,并分别针对各张人脸样本图像,按预设标记规则在人脸样本图像上标记出预设个数的特征点,然后进入步骤002;

步骤002.分别针对各张人脸样本图像,获得人脸样本图像上所标记各个特征点的坐标,将该人脸样本图像上各个特征点的坐标进行组合,构成该人脸样本图像的形状向量;进而分别获得N张人脸样本图像的形状向量,然后建立主动表现模型坐标框架,并进入步骤

003;

步骤003.将N张人脸样本图像的形状向量对齐到该主动表现模型坐标框架中,并在该主动表现模型坐标框架中,针对该N张人脸样本图像的形状向量进行降维,然后进入步骤

004;

步骤004.获得N张人脸样本图像的形状向量的平均人脸样本形状向量s0,并进入步骤

005;

步骤005.获得平均人脸样本形状向量s0所对应的所有表情特征向量,并将该所有表情特征向量按其特征值由大至小进行排序,获得平均人脸样本形状向量s0所对应的预设前L个表情特征向量,进而获得如下人脸形状模型:其中,skl表示主动表现模型坐标框架上所有人脸样本图像上特征点中所对应的任意人脸形状向量,k={1,…,K},pk表示第k个预设人脸形状向量参数,预设人脸形状向量参数的总个数为K,tl表示平均人脸形状向量所对应预设前L个表情特征向量中的第l个表情特征向量;然后进入步骤006;

步骤006.在主动表现模型坐标框架中,根据各张人脸样本图像的形状向量,获得如下人脸表观模型:其中,Akm表示主动表现模型坐标框架上所有人脸样本图像上特征点中所对应的任意人脸纹理向量;A0表示平均人脸样本纹理向量;λk表示第k个预设人脸纹理向量参数,预设人脸纹理向量参数的总个数为K,vm表示平均人脸纹理向量所对应预设前M个表情纹理特征向量中的第m个表情纹理特征向量;然后进入步骤007;

步骤007.根据人脸形状模型,获得待比对人脸图像D(x)位于主动表现模型坐标框架中的位置W(x,pk),并获得待比对人脸图像D(x)纹理向量I(W(x,pk)),然后进入步骤008;

步骤008.定义k=1,进入步骤009;

步骤009.判断 的值是否小于预设纹理差阈值,是则获得下一

帧待比对人脸图像,作为待比对人脸图像D(x),并返回步骤007;否则进入步骤010;

步骤010.判断k是否等于K,是则重新建立主动表现模型坐标框架,并返回步骤003;否则用k+1的值更新k,并返回步骤009。

2.根据权利要求1所述一种人脸特征点跟踪方法,其特征在于:所述步骤002中,分别针对各张人脸样本图像,获得人脸样本图像上所标记各个特征点的坐标,并按预设标记规则中的特征点标记顺序,将该人脸样本图像上各个特征点的坐标进行排序组合,构成该人脸样本图像的形状向量。

3.根据权利要求1所述一种人脸特征点跟踪方法,其特征在于:所述步骤003中,采用Procrustes Analysis方法将N张人脸样本图像的形状向量对齐到该主动表现模型坐标框架中。

4.根据权利要求1所述一种人脸特征点跟踪方法,其特征在于:所述步骤006中,根据各张人脸样本图像的形状向量,通过德劳内三角变换和仿射变换获得人脸表观模型。

5.根据权利要求4所述一种人脸特征点跟踪方法,其特征在于:所述步骤006具体包括如下步骤:步骤00601.在主动表现模型坐标框架中,分别针对各张人脸样本图像的形状向量,基于人脸样本图像的各个特征点坐标,针对该人脸样本图像进行三角剖割,并分别针对该人脸样本图像中的各个三角形,任意取三角形所对应的其中一个特征点,将该特征点的灰度值作为该三角形区域的灰度值;进而获得主动表现模型坐标框架中各张人脸样本图像分别所对应的各个三角形区域的灰度值,然后进入步骤00602;

步骤00602.在主动表现模型坐标框架中,针对平均人脸样本形状向量s0,基于平均人脸样本形状的各个特征点坐标,针对平均人脸样本形状进行三角剖割,并针对平均人脸样本形状中的各个三角形,根据该各个三角形区域与各张人脸样本图像中三角形区域的对应关系,获得平均人脸样本形状中各个三角形区域的灰度值,进而获得平均人脸样本形状所对应各三角形区域灰度值所组成的纹理向量,即平均人脸样本纹理向量A0;然后进入步骤

00603;

步骤00603.获得平均人脸样本纹理向量A0所对应的所有表情纹理特征向量,并将该所有表情纹理特征向量按其特征值由大至小进行排序,获得平均人脸样本纹理向量A0所对应的预设前M个表情纹理特征向量,进而获得如下人脸表观模型:其中,Akm表示主动表现模型坐标框架上所有人脸样本图像上特征点中所对应的任意人脸纹理向量,λk表示第k个预设人脸纹理向量参数,预设人脸纹理向量参数的总个数为K,vm表示平均人脸纹理向量所对应预设前M个表情纹理特征向量中的第m个表情纹理特征向量;

然后进入步骤007。

6.根据权利要求5所述一种人脸特征点跟踪方法,其特征在于:所述步骤007中,根据人脸形状模型,获得待比对人脸图像D(x)位于主动表现模型坐标框架中的位置W(x,pk),并针对待比对人脸图像D(x)进行灰度处理,获得待比对人脸图像D(x)的灰度值,构成待比对人脸图像D(x)纹理向量I(W(x,pk)),然后进入步骤008。

7.根据权利要求1至6中任意一项所述一种人脸特征点跟踪方法,其特征在于:所述人脸特征点跟踪方法应用于基于ARM的树莓派平台。