利索能及
我要发布
收藏
专利号: 2019113172916
申请人: 西安工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三通道特征融合人脸识别方法,其特征在于,具体步骤如下:

步骤1,采集不同的人脸图像组成数据集;对所述数据集中的每张人脸图像做预处理操作得到预处理图像,所述预处理图像为剔除无关背景信息、进行人脸矫正后的人脸图像;将所有预处理图像组成预处理图像集;

步骤2,建立基于三通道特征融合的BP神经网络模型,所述基于三通道特征融合的BP神经网络模型包括并行的三个特征提取通道,所述三个特征提取通道分别为粗采样通道(20)、LBP通道(19)、细采样通道(18);

步骤3,利用所述预处理图像集对基于三通道特征融合的BP神经网络模型进行训练;

步骤4,输入待识别的图像,利用训练好的基于三通道特征融合的BP神经网络模型对待识别的图像和训练集中的图像进行特征相似度对比,输出相似度最高的图像和该图像的相似度;

步骤5,设定阈值,根据所述步骤4中输出的相似度与阈值作比较,进而判别步骤4输出图像与待识别的图像中是否为同一个人,输出结果;

所述基于三通道特征融合的BP神经网络模型包括并行的三个特征提取通道,所述三个特征提取通道分别为粗采样通道(20)、LBP通道(19)、细采样通道(18),所述粗采样通道(20)、LBP通道(19)和细采样通道(18)的输出端均与隐藏层(13)连接,所述隐藏层(13)的输出端依次连接有降维层(14)、第一全连接层(15)、第二全连接层(16)和损失函数层(17);

所述粗采样通道(20)由三层卷积层和三层池化层组成,依次为:第一卷积层(1)、第一池化层(2)、第二卷积层(3)、第二池化层(4)、第三卷积层(5)和第三池化层(6);

所述第一卷积层(1)、第二卷积层(3)和第三卷积层(5)均采用5×5大小的卷积核;

所述第一池化层(2)、第二池化层(4)和第三池化层(6)均采用最大池化,池化尺寸为2×2,池化步长为2,padding模式设置为SAME;

LBP通道进行特征提取的方法为:

步骤2.1,把预处理图像分割成大小相同的若干个子图;

步骤2.2,对于每个子图,将其中每个像素点信息转化为像素亮度值,设中间位置像素亮度值为gc,周围的八近邻像素亮度值为gi(i=0,1,...,7),利用公式(8)和公式(9)对亮度信息进行二值化处理:其中x表示gi‑gc的差值,Bi表示把所得的二进制数转化为二进制数值的公式,s(x)最终得到的像素值;

步骤2.3,以中间位置像素右侧二值化的值为起始位置,逆时针旋转把所得二值化的值写为八位的二进制数,将二进制数转化为十进制数,十进制数就是中心点像素亮度对应的LBP值;对输入人脸图像中每个像素点进行此操作,最终得到输入图像每个像素点的局部特征值;

所述细采样通道(18)由三层卷积层和三层池化层组成,依次为:第四卷积层(7)、第四池化层(8)、第五卷积层(9)、第五池化层(10)、第六卷积层(11)和第六池化层(12);

所述第四卷积层(7)、第五卷积层(9)和第六卷积层(11)均采用1×3卷积核与3×1卷积核堆叠形成的卷积层;

所述第四池化层(8)、第五池化层(10)和第六池化层(12)均采用最大池化,池化尺寸为

2×2,池化步长为2,padding模式设置为SAME。

2.如权利要求1所述的一种三通道特征融合人脸识别方法,其特征在于,步骤1中所述预处理操作的具体步骤为:步骤1.1,输入人脸图像;

步骤1.2,对所述人脸图像进行人脸裁剪,除去背景冗余信息,得到无背景的人脸图像;

步骤1.3,对所述无背景的人脸图像进行眼部关键点标记,把两个所述眼部关键点连接,其连线与水平方向的夹角设为a,再将所述人脸图像逆时针旋转a得到预处理图像。

3.如权利要求2所述的一种三通道特征融合人脸识别方法,其特征在于,所述步骤1.3中,采用欧式距离定位关键点坐标,如公式(1)所示,其中,Li表示关键点定位的欧氏距离,表示预测人脸关键点位置,yi表示真实人脸关键点位置;

人脸关键点的确定如公式(2):

Y越小表明预测关键点位置 与真实关键点位置yi的误差越小,使得Y最小的 值便是标记出的关键点的位置;其中,Y代表最终关键点的位置信息,N表示训练样本的数量,bi表示样本标签;

所述夹角a表示为:

其中(x1,y1)为1号关键点,是左眼中心的坐标,(x2,y2)为2号关键点,是右眼中心的坐标。

4.如权利要求1所述的一种三通道特征融合人脸识别方法,其特征在于,所述降维层(14)采用PCA降维运算将特征融合后转化为一维特征向量信息,具体的步骤为:步骤3.1,将三个通道的人脸的特征信息进行特征融合转化为矩阵形式,设融合后的特征图像的矩阵形式为X(n,m);

步骤3.2,对矩阵X做零均值化处理并求出其协方差矩阵H:

步骤3.3,求矩阵H的特征值,并计算特征值对应的特征向量;

步骤3.4,取特征向量的前k个较大特征值对应的特征向量,并按行排列成Q矩阵;

步骤3.5,U=QX即为降维后的一维特征向量。

5.如权利要求1所述的一种三通道特征融合人脸识别方法,其特征在于,所述损失函数层(17)采用Triplet loss函数作为损失函数,公式如下:公式中a代表从训练集中任意选取的一个样本;p代表随机选取和a同类的一个样本,称为正样本(positive);n代表随机选取和a不同类的一个样本,称为负样本(negative);针对Triplet loss函数中每个样本,训练一个参数共享的网络,得到a,p,n三个样本的特征表达分别记为: Triplet loss函数就是要通过训练集的学习,使得(a,p)两个类内特征之间的距离最小化,(a,n)两个类间特征之间的距离最大化;公式中‘+’号的作用是:如果[]内的值大于0时,那么取该值作为损失;小于0时,损失取0。

6.如权利要求1所述的一种三通道特征融合人脸识别方法,其特征在于,步骤5具体的为:设定阈值,若所述步骤4输出图像的相似度大于阈值,则认定待识别的图像与步骤4输出图像中的人像为同一个人,否则认定训练集中不存在与待识别的图像相同的人脸信息,其中阈值的设定范围在0.73~0.78。