1.一种确定面部深度图的方法,其特征在于,所述方法包括:
获取目标用户的第一二维面部图像和第二二维面部图像,基于所述第一二维面部图像和第二二维面部图像,确定所述目标用户的初始的面部深度图;
基于所述初始的面部深度图,确定所述第一二维面部图像中面部像素点的法向信息;
对于所述第一二维面部图像中每个面部像素点,根据所述面部像素点的法向信息,在所述第二二维面部图像中,确定对应的像素值与所述面部像素点的像素值相似度最高的目标匹配位置,根据所述目标匹配位置,确定所述面部像素点对应的深度值;
基于所述第一二维面部图像中每个面部像素点对应的深度值,确定所述目标用户的更正后的面部深度图。
2.根据权利要求1所述的方法,其特征在于,所述根据所述面部像素点的法向信息,在所述第二二维面部图像中,确定对应的像素值与所述面部像素点的像素值相似度最高的目标匹配位置,包括:根据所述面部像素点的法向信息,确定所述面部像素点的深度值和匹配位置的函数关系,基于所述函数关系确定所述匹配位置的可取值集合,在所述可取值集合中,确定对应的像素值与所述面部像素点的像素值相似度最高的目标匹配位置,其中,所述匹配位置为所述面部像素点在所述第二二维面部图像中对应的面部像素点的位置;
所述根据所述目标匹配位置,确定所述面部像素点对应的深度值,包括:
确定在所述函数关系中所述目标匹配位置对应的深度值。
3.根据权利要求2所述的方法,其特征在于,根据所述面部像素点的法向信息,确定所述面部像素点的深度值和匹配位置的函数关系,包括:根据所述面部像素点的法向信息,确定所述面部像素点的深度值和匹配位置的函数关系为Pr=Kr(Rlr-tlr·nT/z)Kl-1·Pl;
其中,Pl为第一二维面部图像中的任一面部像素点的位置信息,Pr为第二二维面部图像中,与所述第一二维面部图像中面部像素点相对应的面部像素点的位置信息,Kl为拍摄得到第一二维面部图像的第一图像拍摄部件的内参矩阵,Kr为拍摄得到第二二维面部图像的第二图像拍摄部件的内参矩阵,Rlr为所述第一图像拍摄部件到所述第二图像拍摄部件的旋转参数矩阵、tlr为所述第一图像拍摄部件到所述第二图像拍摄部件的平移参数矩阵,n为所述第一二维面部图像中的所述任一面部像素点的法向信息,所述法向信息为法向量,z为所述任一面部像素点在所述第一二维面部图像中的深度值。
4.根据权利要求2或3所述的方法,其特征在于,所述基于所述函数关系确定所述匹配位置的可取值集合,包括:基于所述第一二维面部图像和第二二维面部图像的分辨率,确定视差值的可取值集合;
基于所述视差值的可取值集合,确定所述深度值的可取值集合;
基于所述函数关系和所述深度值的可取值集合,确定所述匹配位置的可取值集合。
5.根据权利要求4所述的方法,其特征在于,所述基于所述视差值的可取值集合,确定所述深度值的可取值集合,包括:基于公式z=f·B/d和所述视差值的可取值集合,确定所述深度值的可取值集合;
其中,f为拍摄得到所述第一二维图像的拍摄部件的焦距,d为所述视差值的可取值集合中的视差值,B为两拍摄部件间的基线矩阵。
6.根据权利要求1所述的方法,其特征在于,所述获取目标用户的第一二维面部图像和第二二维面部图像,包括:获取第一红外拍摄部件拍摄目标用户的第一二维图像、第二红外拍摄部件拍摄所述目标用户的第二二维图像、以及可见光拍摄部件拍摄所述目标用户的第三二维图像;
确定所述第三二维图像中面部关键点的位置信息,基于所述第三二维图像中面部关键点的位置信息,确定第一二维图像和第二二维图像中面部关键点的位置信息;
基于所述第一二维图像中面部关键点的位置信息,在所述第一二维图像中确定第一二维面部图像,基于所述第二二维图像中面部关键点的位置信息,在所述第二二维图像中确定第二二维面部图像。
7.根据权利要求1所述的方法,其特征在于,所述获取目标用户的第一二维面部图像和第二二维面部图像,基于所述第一二维面部图像和第二二维面部图像,确定所述目标用户的初始的面部深度图,包括:获取目标用户的第一二维面部图像和第二二维面部图像,基于所述第一二维面部图像对应的第一降分辨率面部图像和第二二维面部图像对应的第二降分辨率面部图像,确定所述目标用户的初始的面部深度图;
所述基于所述初始的面部深度图,确定所述第一二维面部图像中面部像素点的法向信息,包括:基于所述初始的面部深度图,确定所述第一降分辨率面部图像中面部像素点的法向信息;
对所述第一降分辨率面部图像中面部像素点的法向信息,进行上采样插值,得到所述第一二维面部图像中面部像素点的法向信息。
8.一种确定面部深度图的装置,其特征在于,所述装置包括:
获取模块,用于获取目标用户的第一二维面部图像和第二二维面部图像,基于所述第一二维面部图像和第二二维面部图像,确定所述目标用户的初始的面部深度图;
计算模块,用于基于所述初始的面部深度图,确定所述第一二维面部图像中面部像素点的法向信息;
确定模块,用于对于所述第一二维面部图像中每个面部像素点,根据所述面部像素点的法向信息,在所述第二二维面部图像中,确定对应的像素值与所述面部像素点的像素值相似度最高的目标匹配位置,根据所述目标匹配位置,确定所述面部像素点对应的深度值;
更正模块,基于所述第一二维面部图像中每个面部像素点对应的深度值,确定所述目标用户的更正后的面部深度图。
9.根据权利要求8所述的装置,其特征在于,所述确定模块,用于:
根据所述面部像素点的法向信息,确定所述面部像素点的深度值和匹配位置的函数关系,基于所述函数关系确定所述匹配位置的可取值集合,在所述可取值集合中,确定对应的像素值与所述面部像素点的像素值相似度最高的目标匹配位置,确定在所述函数关系中所述目标匹配位置对应的深度值,其中,所述匹配位置为所述面部像素点在所述第二二维面部图像中对应的面部像素点的位置。
10.根据权利要求9所述的装置,其特征在于,所述确定模块,用于:
根据所述面部像素点的法向信息,确定所述面部像素点的深度值和匹配位置的函数关系为Pr=Kr(Rlr-tlr·nT/z)Kl-1·Pl;
其中,Pl为第一二维面部图像中的任一面部像素点的位置信息,Pr为第二二维面部图像中,与所述第一二维面部图像中面部像素点相对应的面部像素点的位置信息,Kl为拍摄得到第一二维面部图像的第一图像拍摄部件的内参矩阵,Kr为拍摄得到第二二维面部图像的第二图像拍摄部件的内参矩阵,Rlr为所述第一图像拍摄部件到所述第二图像拍摄部件的旋转参数矩阵、tlr为所述第一图像拍摄部件到所述第二图像拍摄部件的平移参数矩阵,n为所述第一二维面部图像中的所述任一面部像素点的法向信息,所述法向信息为法向量,z为所述任一面部像素点在所述第一二维面部图像中的深度值。
11.根据权利要求9或10中任一项所述的装置,其特征在于,所述确定模块,用于:基于所述第一二维面部图像和第二二维面部图像的分辨率,确定视差值的可取值集合;
基于所述视差值的可取值集合,确定所述深度值的可取值集合;
基于所述函数关系和所述深度值的可取值集合,确定所述匹配位置的可取值集合。
12.根据权利要求11所述的装置,其特征在于,所述确定模块,用于:基于公式z=f·B/d和所述视差值的可取值集合,确定所述深度值的可取值集合;
其中,f为拍摄得到所述第一二维图像的拍摄部件的焦距,d为所述视差值的可取值集合中的视差值,B为两拍摄部件间的基线矩阵。
13.根据权利要求8所述的装置,其特征在于,所述获取模块,用于:
获取第一红外拍摄部件拍摄目标用户的第一二维图像、第二红外拍摄部件拍摄所述目标用户的第二二维图像、以及可见光拍摄部件拍摄所述目标用户的第三二维图像;
确定所述第三二维图像中面部关键点的位置信息,基于所述第三二维图像中面部关键点的位置信息,确定第一二维图像和第二二维图像中面部关键点的位置信息;
基于所述第一二维图像中面部关键点的位置信息,在所述第一二维图像中确定第一二维面部图像,基于所述第二二维图像中面部关键点的位置信息,在所述第二二维图像中确定第二二维面部图像。
14.根据权利要求8所述的装置,其特征在于,所述获取模块,用于:
获取目标用户的第一二维面部图像和第二二维面部图像,基于所述第一二维面部图像对应的第一降分辨率面部图像和第二二维面部图像对应的第二降分辨率面部图像,确定所述目标用户的初始的面部深度图;
所述计算模块,用于:
基于所述初始的面部深度图,确定所述第一降分辨率面部图像中面部像素点的法向信息;
对所述第一降分辨率面部图像中面部像素点的法向信息,进行上采样插值,得到所述第一二维面部图像中面部像素点的法向信息。