利索能及
我要发布
收藏
专利号: 2018108649600
申请人: 中国计量大学
专利类型:发明专利
专利状态:无效专利
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸识别网络与行人再识别网络协同训练方法,其特征在于包括如下步骤:

步骤(1):对DukeMTMC-reID行人再识别数据集利用开源人脸识别引擎SeetaFace的人脸检测模块进行人脸检测,所述人脸检测模块采用漏斗型级联结构(Funnel-Structured Cascade,FuSt),FuSt级联结构在顶部由多个针对不同姿态的快速LAB级联分类器构成,紧接着是若干个基于SURF特征的多层感知机(MLP)级联结构,最后由一个统一的MLP级联结构来处理所有姿态的候选窗口,最终保留正确的人脸窗口,得到人脸图像;

步骤(2):由步骤(1)经过人脸检测成功后总共获得N个行人图像和N个人脸图像,将从第i个行人图像Hi中得到的人脸图像记为Fi,Hi和Fi组成数据对(Hi,Fi),Hi和Fi具有相同的身份标签,Hi和Fi(i=1,2,…,N)分别构成行人训练数据集和人脸训练数据集;

步骤(3):采用基于梯度统计的清晰度评价算法对人脸图像进行清晰度评价,该算法利用Sobel算子分别计算水平和垂直方向的梯度,同一场景下梯度值越高,认为图像越清晰;

步骤(4):分别采用基于卷积神经网络的人脸识别子网络和行人再识别子网络进行人脸识别模型和行人再识别模型训练,所述基于卷积神经网络的人脸识别子网络和行人再识别子网络中均包含训练数据输入层、卷积层、最大采样层三种网络层。其中,人脸识别卷积层接最大采样层构成一个人脸识别子结构单元,人脸数据输入层和N个串联子结构共同构成人脸识别子网络;行人再识别卷积层接最大采样层构成一个行人再识别子结构单元,每一个子结构单元的输出与上一个子结构单元的输出相加作为下一个子结构单元的输入,行人数据输入层和M个串联子结构共同构成行人再识别子网络;

步骤(5):将人脸识别子网络和行人再识别子网络的输出各连接一个全连接层,将两个全连接层进行特征融合,将融合特征作为行人特征分类层的输入;人脸识别子网络所连接的全连接层作为人脸特征分类层的输入,其中,人脸识别子网络、全连接层、人脸特征分类层共同组成人脸识别网络,行人再识别子网络、全连接层、行人特征分类层共同构成行人再识别网络。所述特征融合采用深度学习框架caffe中的concat层,将两个全连接层的输出作为concat层的输入,其中人脸特征分类层和行人特征分类层均为输出维度是D维的全连接层,D表示行人类别数,人脸类别数也为D,最终concat层的输出即为融合特征;

步骤(6):把行人训练数据集和人脸训练数据集分别输入到人脸识别网络与行人再识别网络中,当人脸图像清晰度较低时,将行人再识别子网络连接的Soft-Max层的预测结果与真实标签共同作为人脸识别子网络的联合监督信号对人脸识别子网络进行训练;当人脸图像清晰度较高时,将人脸识别子网络连接的Soft-Max层的预测结果与真实标签共同作为行人再识别子网络的联合监督信号对行人再识别子网络进行训练,其中,联合监督信号是Soft-Max层的预测结果与真实标签加权相加的结果,使用深度学习框架caffe协同训练人脸识别网络与行人再识别网络得到一个集人脸识别与行人再识别功能于一体的双识别模型;

步骤(7):人脸识别及行人再识别测试,将两张待测试的行人图像H1和H2按照步骤(1)的方法获得对应的人脸图像F1和F2,组成测试图片对(H1,F1)和(H2,F2),对人脸图像采用步骤(3)的方法进行清晰度评价,当F1和F2均清晰度较高时,对F1、F2利用步骤(6)中得到的双识别模型进行人脸特征的提取,分别得到人脸特征向量Ff1、Ff2,通过计算Ff1和Ff2之间的余弦相似度Fp,设置人脸相似度阈值为FT,如果Fp≥FT,则判定F1和F2是同一个人的人脸,直接根据人脸识别结果判定H1和H2是同一个行人,如果FpTs,则判定判定F1和F2是同一个人的人脸,如果Fs

2.如权利要求1所述的一种人脸识别网络与行人再识别网络协同训练方法,其特征在于:步骤(6)中加权相加的公式为:

其中,Yik表示训练样本i在k网络的联合监督信号, 表示样本i在l网络的Soft-Max层k

的预测值,当人脸图像清晰度较低时,k=0,l=1,Yi表示训练样本i在人脸识别网络的联合监督信号, 表示行人再识别网络Soft-Max层的预测值,当人脸图像清晰度较高时,k=1,l=0,Yik表示训练样本i在行人再识别网络的联合监督信号, 表示人脸识别网络Soft-Max层的预测值;yi是样本i的真实标签其值为1;α、β分别表示真实标签与预测结果所占的权重比例,且α+β=1。