1.一种基于左右脸深度相机的快速三维人脸重建方法,其特征在于,所述方法包括如下步骤:
步骤1、连接并初始化左右深度相机,同步采集目标人脸的左右灰度图、左右RGB图像以及三维点云数据;
步骤2、基于人脸特征点检测算法分别识别左右灰度图中的人脸区域,获取人脸特征点区域ROI;根据人脸特征点区域ROI以及左右灰度图像素与三维点云数据之间的对应关系,从三维点云数据中分割出左脸点云和右脸点云,并对分割后的左脸点云和右脸点云进行滤波和下采样处理;
步骤3、计算左右脸点云的局部特征描述子,并基于左右脸点云的局部特征描述子,通过采样一致性初始配准算法对左右脸点云进行粗配准,再基于迭代最近点算法进行精配准,得到精配准变换矩阵;利用精配准变换矩阵将左脸点云变换至右脸点云所在的坐标系并进行融合,得到完整的人脸点云;对完整的人脸点云进行法向计算和泊松曲面重建,生成初始三维人脸网格模型;
步骤4、根据人脸特征点区域ROI定位左右RGB图像中相应的纹理区域,再进行色差处理和亮度均衡,得到处理后的左右纹理区域;将处理后的左右纹理区域按预设比例进行拼接,生成一张完整的纹理贴图;
步骤5、以鼻尖中轴面为分界线,将初始三维人脸网格模型中的顶点划分为左脸侧顶点和右脸侧顶点;对位于拼接缝隙区域的左脸侧边缘顶点,将其坐标调整至最近的右脸侧边缘顶点坐标处以消除缝隙;基于左右RGB相机的内外参数,计算初始三维人脸网格模型中每个顶点在纹理贴图中对应的纹理坐标;最终输出包含顶点坐标、纹理坐标、法线向量和面片信息的带纹理三维人脸模型文件。
2.根据权利要求1所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤1中,深度相机为结构光相机或双目视觉深度相机,且每个双目视觉深度相机均集成有一个RGB摄像头,在输出灰度图、RGB图像和三维点云的同时,还输出左右深度相机带有的RGB摄像头的内参矩阵和外参矩阵。
3.根据权利要求2所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤2中,人脸特征点检测算法采用dlib库的68点或76点检测模型;滤波处理包括直通滤波和统计滤波,用于去除离群点和噪声。
4.根据权利要求3所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤3中,采样一致性初始配准算法为SAC‑IA,迭代最近点算法为ICP。
5.根据权利要求4所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤3中,在泊松曲面重建后,还包括有裁剪步骤,裁剪步骤具体如下:基于所述完整的人脸点云的空间密度分布,计算空间占位栅格;
以鼻尖中轴面为界,分别计算左、右两侧点云在空间占位栅格中的密度;
基于左、右两侧点云在空间占位栅格中的密度计算对侧点云的平均密度,并根据对侧点云的平均密度设定当前侧的动态密度阈值,以识别并标记出当前侧重建网格中密度低于动态密度阈值的稀疏栅格;
将稀疏栅格所对应的三角面片判定为因点云配准误差或噪声产生的无用面片,并使用曲面裁剪工具将其从初始三维人脸网格模型中裁剪去除,以得到初始三维人脸网格模型。
6.根据权利要求5所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤4中,色差处理包括直方图匹配和双边滤波,用于使左右两侧RGB图像的色彩和亮度保持一致;步骤4中,预设比例为50%。
7.根据权利要求6所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤5中,将位于拼接缝隙区域的左脸侧边缘顶点坐标调整至最近的右脸侧边缘顶点坐标具体为:构建右脸侧边缘顶点的KD树;对于左脸侧边缘顶点,通过KD树搜索其最近的右脸侧边缘顶点,并将该左脸侧顶点的坐标修改为最近的右脸侧边缘顶点的坐标。
8.根据权利要求7所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤5中,计算初始三维人脸网格模型中每个顶点在纹理贴图中对应的纹理坐标的过程,根据顶点所属脸侧的不同分别按以下方式进行:对于被划分为左脸侧的顶点,首先使用精配准变换矩阵的逆矩阵,将左脸侧的顶点从右深度相机坐标系变换回左深度相机坐标系,得到顶点在左深度相机坐标系下的三维坐标;再根据左RGB摄像头相对于左深度相机的外参矩阵,将顶点在左深度相机坐标系下的三维坐标变换至左RGB摄像头坐标系,得到顶点在左RGB摄像头坐标系中的三维坐标;最后利用左RGB摄像头的内参矩阵和小孔成像模型,将顶点的左RGB摄像头坐标系的三维坐标投影到左RGB图像上,得到二维像素坐标;根据左侧纹理区域ROI在完整纹理贴图中的位置,将二维像素坐标映射至完整纹理贴图上,得到左脸侧的顶点在完整纹理贴图中的纹理坐标;
对于被划分为右脸侧的顶点,直接根据右RGB摄像头相对于右深度相机的外参矩阵,将右脸侧的顶点从右深度相机坐标系变换至右RGB摄像头坐标系,得到顶点在右RGB摄像头坐标系的三维坐标;然后利用右RGB摄像头的内参矩阵和小孔成像模型,将顶点在右RGB摄像头坐标系的三维坐标投影到右RGB图像上,得到二维像素坐标;根据右纹理区域ROI在完整纹理贴图中的位置,将二维像素坐标映射至完整纹理贴图上,得到右脸侧的顶点在完整纹理贴图中的纹理坐标。
9.根据权利要求8所述的基于左右脸深度相机的快速三维人脸重建方法,其特征在于,步骤5中,输出的三维模型文件格式为OBJ文件,并附带MTL材质库文件和PNG纹理贴图文件。
10.一种基于左右脸深度相机的快速三维人脸重建系统,其特征在于,所述系统应用如权利要求1至9任意一项所述的基于左右脸深度相机的快速三维人脸重建方法,所述系统包括:数据采集模块,用于:
连接并初始化左右深度相机,同步采集目标人脸的左右灰度图、左右RGB图像以及三维点云数据;
点云分割模块,用于:
基于人脸特征点检测算法分别识别左右灰度图中的人脸区域,获取人脸特征点区域ROI;根据人脸特征点区域ROI以及左右灰度图像素与三维点云数据之间的对应关系,从三维点云数据中分割出左脸点云和右脸点云,并对分割后的左脸点云和右脸点云进行滤波和下采样处理;
网格重建模块,用于:
计算左右脸点云的局部特征描述子,并基于左右脸点云的局部特征描述子,通过采样一致性初始配准算法对左右脸点云进行粗配准,再基于迭代最近点算法进行精配准,得到精配准变换矩阵;利用精配准变换矩阵将左脸点云变换至右脸点云所在的坐标系并进行融合,得到完整的人脸点云;对完整的人脸点云进行法向计算和泊松曲面重建,生成初始三维人脸网格模型;
贴图生成模块,用于:
根据人脸特征点区域ROI定位左右RGB图像中相应的纹理区域,再进行色差处理和亮度均衡,得到处理后的左右纹理区域;将处理后的左右纹理区域按预设比例进行拼接,生成一张完整的纹理贴图;
模型生成模块,用于:
以鼻尖中轴面为分界线,将初始三维人脸网格模型中的顶点划分为左脸侧顶点和右脸侧顶点;对于位于拼接缝隙区域的左脸侧边缘顶点,将其坐标调整至最近的右脸侧边缘顶点坐标处以消除缝隙;基于左右RGB相机的内外参数,计算初始三维人脸网格模型中每个顶点在纹理贴图中对应的纹理坐标;最终输出包含顶点坐标、纹理坐标、法线向量和面片信息的带纹理三维人脸模型文件。