1.一种基于遮挡‑特征映射关系的遮挡人脸识别方法,包括:
步骤S1、通过人脸训练数据集对模型Resnet50进行预训练;
步骤S2、建立人脸解析模块和人脸关键点检测模块,将人脸训练数据集中原始的人脸图像输入人脸解析模块,得到相应的人脸语义区域划分数据集;
步骤S3、将步骤S2的人脸语义区域划分数据集通过人脸关键点检测模块对人脸语义区域进行子区域划分,生成子区域遮挡的人脸数据集;
步骤S4、将步骤S1中训练好的Resnet50模型作为差分孪生网络的预训练模型,将人脸训练数据集的原始人脸图像和子区域遮挡的人脸数据集的遮挡人脸图像成对地输入到差分孪生网络中,利用原始人脸图像和遮挡人脸图像的最后一层卷积特征之间的差异,学习遮挡与特征的映射关系;
步骤S5、根据步骤S4中的映射关系,通过训练好的差分孪生网络中的掩码生成器中获取对应的掩码,构建遮挡子区域的掩码字典;
步骤S6、将待识别人脸图像通过遮挡分割网络FCN‑8s模型分割出遮挡与未遮挡区域,并将该遮挡分割图按步骤S3的划分方法划分为若干子区域;根据遮挡区域和若干子区域的重叠情况,从掩码字典中获取关联项加以合并,得到合并掩码字典;
步骤S7、人脸识别网络以步骤S1中训练好的Resnet50模型作为预训练模型,提取待识别遮挡人脸的顶层卷积特征并与步骤S6中的合并掩码字典相乘,以消除遮挡对特征的影响,提高遮挡人脸的识别率。
2.根据权利要求1所述的一种基于遮挡‑特征映射关系的遮挡人脸识别方法,其特征在于:步骤S7之后还包括在公共数据集LFW、MegaFace上分别做1:1人脸验证和1:N人脸识别,通过人脸相似度对比和人脸识别精度测试方法的可行性和有效性。
3.根据权利要求1所述的一种基于遮挡‑特征映射关系的遮挡人脸识别方法,其特征在于:所述步骤S2包括:首先通过人脸解析模块对人脸进行语义解析,作为先验信息,分块对人脸面部的眼、鼻、嘴、面部、眉毛五官进行分类监督,实现非遮挡区域皮肤和五官语义信息的精确感知。
4.根据权利要求3所述的一种基于遮挡‑特征映射关系的遮挡人脸识别方法,其特征在于:所述步骤S3包括:不能进行分类监督的人脸部分,由PFLD人脸关键点检测模块定位人脸关键点,通过人脸关键点检测模块在人脸图像生成若干个关键点,将点围成区域面积进行子区域划分,由于眼睛和鼻子包含重要的识别信息,对其划分区域更精细;面部皮肤提供的人脸语义信息较少,对面部划分区域数量上减少,面积上扩大。
5.根据权利要求1所述的一种基于遮挡‑特征映射关系的遮挡人脸识别方法,其特征在于:所述步骤S3还包括:将干净的人脸训练数据集通过人脸解析模块对五官部分进行分割;通过人脸关键点检测模块检测到的关键点对五官内部及面部皮肤进行连线划分区域,并将不同子区域进行遮挡填充,得到丢失不同语义信息的批量模拟子区域遮挡的人脸数据集;根据人脸解析和关键点检测模块对面部进行重新划分,由均等的矩形方块改为更贴合人脸面部结构和语义信息的若干子区域,掩码字典区域不再覆盖整个图像,而是覆盖影响识别的人脸区域。