1.基于三维智能重建的多角度人脸识别方法,其特征在于,包括如下步骤:s1:输入一张人脸图片,再对所述人脸图片进行人脸特征点的提取,并计算脸部各区域的人脸特征量,再根据提取的所述人脸特征点的数量分场景计算人脸偏转角;
s2:基于所述脸部各区域的人脸特征量和所述人脸偏转角,采用ASM算法将提取到的所述人脸特征点重构成正面人脸特征点;
s3:构建内部人脸数据库和形变模型,用经过样本训练的级联残差网络,基于所述内部人脸数据库预测所述形变模型的形状向量和纹理向量,所述内部人脸数据库存储用来预测的三维人脸图片训练数据集;
s4:根据预测的所述形状向量构建出三维人脸灰模,再用重构的所述正面人脸特征点跟所述三维人脸灰模进行匹配操作;若匹配成功,则基于所述纹理向量对所述三维人脸灰模进行上色和细节补充操作,进而建立出三维人脸模型;若匹配失败,则返回所述步骤s3对所述形变模型进行自反馈惩罚训练;
s5:根据所述人脸偏转角对所述三维人脸模型进行旋转操作后,将输入的所述人脸图片跟旋转后的所述三维人脸模型进行人脸相似度匹配,并得到人脸相似度SIM,再根据所述人脸相似度SIM分场景操作,并得到最终的三维人脸模型;
s6:用所述最终的三维人脸模型跟外部人脸数据库进行比对,完成最终人脸识别。
2.根据权利要求1所述的基于三维智能重建的多角度人脸识别方法,其特征在于,所述步骤s1中,所述人脸特征点一共有68个,所述脸部各区域的人脸特征量包括:人眼特征量、鼻梁特征量、嘴巴特征量和下颌特征量;
所述人眼特征量的计算公式为:
其中,Deye表示人眼特征量, 和 分别表示上眼皮的两个特征点和对应的下眼皮两个特征点的连线距离之和, 表示左右眼角特征点的横向连线距离;
所述鼻梁特征量的计算公式为:
其中,Dnose表示鼻梁特征量, 表示中鼻梁的最高特征点和最低特征点之间的垂直距离, 表示中鼻梁的最低特征点和鼻子的最右边特征点的横向连线距离;
所述嘴巴特征量的计算公式为:
其中,Dmouth表示嘴巴特征量, 分别表示上嘴唇的3组上下特征点连线的垂直距离, 分别表示下嘴唇的3组上下特征点连线的垂直距离,和 分别表示上下嘴唇的左右嘴角之间的横向连接距离;
所述下颌特征量的计算公式为:
其中,Dmandible表示下颌特征量, 表示最低下颌特征点和最高下颌特征点之间的垂直距离, 表示最低下颌特征点和最高下颌特征点之间的横向距离。
3.根据权利要求2所述的基于三维智能重建的多角度人脸识别方法,其特征在于,所述步骤s1中,所述人脸偏转角的分场景计算公式如下:其中,表示人脸偏转角,Ω表示提取到的人脸特征点个数, 表示旋转后人脸两眼之间的距离, 表示偏转后嘴巴到两眼中心连线的距离,R31、R32、R33分别表示旋转矩阵中的变量,Λ是常数,θ1表示斜偏转角,θ2表示水平偏转角;
若65≤Ω≤68,使用第一个公式计算人脸偏转角;若48≤Ω≤64,使用第二个公式计算人脸偏转角;若Ω<48,使用第三个公式计算人脸偏转角。
4.根据权利要求3所述的基于三维智能重建的多角度人脸识别方法,其特征在于,所述步骤s2中,所述正面人脸特征点的重构用以下模型表达:其中, 表示平均形状向量,Π表示由这些主成分形状向量组成的新的人脸样本特征*点;b表示一个控制特征点权重的向量, 表示提取主成分形状向量后获得的协方差矩阵,表示平均人眼特征量, 表示平均鼻梁特征量, 表示平均嘴巴特征量, 表示平均下颌特征量。
5.根据权利要求4所述的基于三维智能重建的多角度人脸识别方法,其特征在于,所述步骤s3中,所述经过样本训练的级联残差网络的结构包括如下:将三维人脸统一用向量形式表示:
其中, 和 分别表示所述内部人脸数据库中第i个人脸的形状向量和纹理向量,表示由形状向量组成的人脸灰模, 表示由纹理向量组成的人脸细节,ai和bi分别表示第i个人脸的形状向量和纹理向量,表示内部人脸数据库中人脸的个数;假设渲染出的模型人脸图像是Imodel(xmat,ymat),目标人脸图像是Iinput(xmat,ymat),那么目标函数是:2
其中,||·||表示1‑范数的平方,(xmat,ymat)表示用于三维人脸模型匹配的像素坐标,EI表示模型人脸和目标人脸的方差,IR,model(xmat,ymat)、IG,model(xmat,ymat)、IB,model(xmat,ymat)分别表示三原色RGB通道对应的三种模型人脸图像,T表示转置矩阵;
为了用数学公式实现级联残差网络,设 为激活函数、 为卷积函数,定义第m个级联残差块输出为 并且它经过两个卷积层后残差相加得出如下公式:m‑1 m
其中,O 表示第m个级联残差块所连接的前一个大小为1*1的卷积层的输出,W表示第mm,1 m,2个级联残差块所连接的卷积层,W 表示第m个级联残差块所连接的第一个卷积层,W 表示第m个残差块所连接的第二个卷积层,“⊙”表示级联操作;
使用损失函数:
LR HR
其中,lMSE表示损失函数,ro表示缩放系数,I 表示低分辨率人脸图像,I 表示高分辨率人脸图像,Wid表示图片的宽,Hig表示图片的高, 表示生成的正面人脸图像。
6.根据权利要求5所述的基于三维智能重建的多角度人脸识别方法,其特征在于,所述步骤s5中,根据所述人脸偏转角对所述三维人脸模型进行旋转操作后,将输入的所述人脸图片跟旋转后的所述三维人脸模型进行人脸相似度匹配,并得到人脸相似度SIM的具体过程如下:首先,通过XYZ颜色空间将RGB颜色空间转换到Lup颜色空间,转换公式如下所示:其中,(Xcol,Ycol,Zcol)表示XYZ颜色空间的坐标,(Rcol,Gcol,Bcol)表示RGB颜色空间的坐标;
然后,将所述XYZ颜色空间转换到所述Lup颜色空间,转换公式如下:其中,(Lc,uc,pc)表示Lup颜色空间的坐标,tc和 都表示中间变量;
人脸的对比过程如下:
其中,Pic1和Pic2表示要比较的两张图片, 和 分别表示两张图片的像素值方差,和 分别表示两张图片的像素均值, 表示两张图片的协方差,LU表示亮度相似度,CON表示对比度相似度,STR表示结构相似度;
人脸相似度SIM的计算公式为:
其中,SIM表示最终人脸相似度,范围是[0,1]。
7.根据权利要求6所述的基于三维智能重建的多角度人脸识别方法,其特征在于,所述步骤s5中,再根据所述人脸相似度SIM分场景操作,并得到最终的三维人脸模型的具体过程包括如下:当人脸相似度SIM≤60%时,首先对所述内部人脸数据库中的三维人脸图片数量进行扩充,再重复所述步骤s3对所述形变模型进行自反馈惩罚训练;
当人脸相似度60%≤SIM≤85%时,重复所述步骤s3对所述形变模型进行自反馈惩罚训练;
当人脸相似度SIM≥85%时,此时的三维人脸模型为最终的三维人脸模型。