1.一种基于对称孪生网络的姿态鲁棒性人脸特征提取方法,其特征在于:该方法包括以下步骤:S1:数据预处理阶段:利用人脸检测网络裁剪出原始图像中处于非限制姿态下的人脸部分,并将切块的尺寸重新拉伸为128×128;
S2:侧脸数据选取阶段:利用人脸检测网络检测出的关键点,来估计人脸姿态系数,根据人脸数据集中的人脸偏转角度分布及其对应的人脸姿态系数构建侧脸数据;
S3:深度模型结构的构建及其训练阶段:将整个人脸训练数据集和侧脸人脸数据集分离开来训练,确保神经网络更新梯度时,每有两张近正脸图片就有两张侧脸图片,构建对称孪生网络,对称孪生网络由两部分组成:特征一致性学习子网络和身份一致性性学习子网络;
S4:姿态鲁棒性人脸特征提取:将一张任意偏转角度的人脸图片输入至网络中,网络的倒数第二层输出结果作为姿态鲁棒性人脸特征;
所述S1包括以下具体步骤:
S11:对所有人脸图像数据进行归一化,让整个图像的均值为0,标准差为1,即使原始图像在r,g,b通道上的分布服从正态分布;
S12:利用人脸检测网络裁剪出原始图像中处于非限制姿态下的人脸部分,并将该切块的尺寸重新拉伸为128×128,为确保在后续对图片卷积操作后得到的特征图尺寸一致;
所述S2包括以下具体步骤:
S21:利用余弦定义估算鼻子与两个眼睛之间的夹角,同时取最小值,将其作为人脸姿态系数;
S22:在包含精准的姿态信息的约束条件数据集下,估算出不同角度对应的人脸姿态系数,同时统计出训练集中人脸姿态系数每个偏转角度区间人脸图片的分布;选取特定人脸姿态系数作为阈值,小于该阈值的图片被选取作为侧脸数据;
所述S3包括以下具体步骤:
S31:将所有的人脸图片放入特征一致性学习子网络中,输入图片为两个虚拟姿态的人脸图片,特征一致性学习子网络的结构是孪生网络;
S32:将所有侧脸数据放入身份一致性性学习子网络中,输入图片为同一个人的不同姿态图片,身份一致性性学习子网络的结构是孪生网络;
S33:特征一致性学习子网络和身份一致性性学习子网络权值共享;
所述S31包括以下具体步骤:
S311:虚拟姿态的人脸图片由数据增强的方式产生,其中数据增强包括:垂直翻转、旋转和随机裁剪;
S312:利用特征一致性损失将孪生网络得到的两个特征向量相似性最大化,保证特征一致性,从而增强判别性特征;
所述S32包括以下具体步骤:
S321:将同一个人的不同姿态进行两两组合,从而得到身份一致性的输入;
S322:利用身份一致性损失将孪生网络得到的两个特征向量相似性最大化,保证特征一致性,从而增强判别性特征;
所述S33包括以下具体步骤:
S331:权值共享保证特征一致性学习子网络和身份一致性性学习子网络共同训练,从而保证网络参数每次更新时有侧脸数据的参入。