利索能及
我要发布
收藏
专利号: 201811418790X
申请人: 中山大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的实时三维人脸重建方法包括以下步骤:S1、从摄像头获取人脸图像作为输入,对人脸图像进行人脸检测与人脸特征点定位与标注,如果存在人脸,则将人脸特征点标注在人脸图像上;

S2、根据人脸特征点的定位进行头部的姿态计算,获得人脸图像中头部的旋转参数;

S3、使用人脸特征点进行人脸归一化,计算归一化后的人脸深度信息;

S4、使用人脸深度信息,对标准头部三维网格模型进行变形;

S5、根据人脸特征点与摄像头输入的人脸图像获得人体头部纹理图像;

S6、使用旋转参数与归一化,获得变形后的头部网格点与纹理图像的直接映射关系;

S7、使用变形后的头部网格点、纹理图像与以上两者间的直接映射关系进行三维重建与渲染,并展示给用户。

2.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的人脸特征点包括人脸轮廓边缘和五官位置,其中五官包括两个眼球、鼻尖、嘴巴以及两个眉毛。

3.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的步骤S1中使用ShiqiYu在Github上发布的Libfacedetection库获得68个人脸特征点。

4.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的步骤S2中头部的姿态计算通过选取从人脸图像中获得的二维五官特征点与标准头部模型的相对应的三维五官特征点,使用超过6对的对应特征点,采用EPNP算法估计获得人脸图像中头部的旋转参数。

5.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的步骤S3中使用特征点进行人脸归一化,计算归一化后的人脸深度信息的过程如下:S31、根据统计平均的两个眼球中心以及鼻尖的二维坐标,与输入图像中两个眼球中心以及鼻尖特征点,获得输入图像到统计平均的仿射矩阵,将仿射矩阵与输入图像的人脸部分相乘,即仿射变换,将人脸以鼻尖点为中点,裁剪一定像素大小的人脸图像,完成归一化操作;

S32、归一化后的人脸图像与事先训练好的张量进行相乘,进行SVD分解操作,输出归一化图像中每个像素点的深度信息。

6.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的步骤S4中对标准头部三维网格模型进行变形的过程如下:S41、以两个眼睛中心以及鼻尖的坐标为基准,获得标准头部三维网格模型中的点到归一化后每个像素点深度信息的仿射矩阵,分别计算归一化图像与标准头部三维网格模型在人脸正面方向上两个眼睛中心点的距离与两个眼睛中心连线的中点到鼻尖点距离的比值,再用标准头部三维网格模型的比值除以归一化图像的比值,获得拉伸系数;

S42、利用仿射矩阵,调整标准头部三维网格模型中脸部点的深度信息;

S43、将标准头部三维网格模型中点到标准头部三维网格模型中鼻根点在左右方向上的差值,将该差值与所述的拉伸系数相乘获得新的差值,最后利用新的差值,与标准头部三维网格模型中鼻根点左右方向上的值相加,成为该点的左右方向的值,对标准头部三维网格模型中点进行横向拉伸。

7.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的步骤S5中获得人体头部纹理图像的过程如下:利用特征点获得脸部图像,利用脸部皮肤图像获得非脸部图像,最后使用图像融合获得头部纹理信息。

8.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的步骤S6中获得变形后的头部网格点与纹理图像的直接映射关系的过程如下:S61、使用旋转参数获得变形后头部模型旋转后的三维坐标;

S62、将旋转后的三维坐标与纹理图像的两个眼睛中心以及鼻尖的坐标计算仿射矩阵;

S63、利用上述仿射矩阵计算头部模型与纹理图像的匹配关系,完成直接映射。

9.根据权利要求1所述的基于单帧人脸图像的实时三维人脸重建方法,其特征在于,所述的步骤S7中使用变形后的头部网格点、纹理图像与以上两者间的对应关系通过OpenGL库进行三维绘制与光影的渲染,并展示给用户。