利索能及
我要发布
收藏
专利号: 2022100542349
申请人: 赣南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法,其特征在于:包括以下步骤:S1:构建双通道多分支特征提取网络,包括HR通道网络、LR通道网络和加权融合损失函数;HR通道网络和LR通道网络分别包括主干网络和分支网络;HR通道网络包括HR主干网络、HR第一分支网络、HR第二分支网络、HR第三分支网络和特征筛选模块;HR通道网络的架构采用GoogLeNet的inception‑v3模块组成,HR通道网络包括2个卷积层、6个inception模块、3个最大池化层、2个连接层和一个全连接层;HR主干网络包括一个Inception 4模块和Inception 5模块;HR第一分支网络、HR第二分支网络和HR第三分支网络分别包括一个Inception 4模块;LR通道网络包括LR主干网络、LR第一分支网络、LR第二分支网络和LR第三分支网络;LR通道网络的网络架构采用卷积块组成;LR通道网络包括11个卷积层、2个最大池化层和1个全连接层;加权融合损失函数包括软损失函数、硬损失函数、多核最大平均差异损失函数MK‑MMD;

S2:HR通道网络的主干网络和分支网络以及LR通道网络的主干网络和分支网络的输出特征分别通过级联融合并连接到各自通道网络的完全连接层中,得到面部多区域融合特征,作为最终人脸表示;

S3:向HR通道网络输入高分辨率人脸图片训练HR通道网络,筛选出代表受试者身份信息的人脸深度特征;

S4:向LR通道网络输入与高分辨率人脸图片具有相同受试者身份信息的低分辨率人脸图片训练LR通道网络,使用筛选后的特征优化LR通道网络中的参数,通过加权融合损失函数将高识别率的HR通道网络的特征表示能力迁移到LR通道网络,使LR通道网络学习HR通道网络的特征表示能力。

2.根据权利要求1所述的基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法,其特征在于:所述的步骤S2中,具体步骤为:S21:主干网络从人脸图像的全局区域提取特征,在主干网络的Inception5模块中通过最大池化层将特征映射的大小减少到3×3×1024;

S22:以主干网络的第二层卷积层和inception3模块输出的裁剪特征作为每个分支网络的输入,将第二层卷积层裁剪的特征图的大小通过最大池化层减少一半到6×6×64,然后连接inception3模块输出裁剪映射图作为分支网络的输入;分支网络的特征图大小通过最大池化层减少到3×3×832;

S23:主干网络和分支网络的输出特征映射通过级联进行融合,形成深度人脸融合特征,通过完全连接层将维数降低到512,这个512维特征向量用作最终人脸表示。

3.根据权利要求1所述的基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法,其特征在于:所述的步骤S3中,具体步骤为:S31:将带有标签的高分辨率人脸图片输入HR通道网络,对输入的人脸图片进行人脸检测和特征点定位,并划分出人脸特征采样区域;

S32:HR通道网络的主干网络学习整体人脸图像的人脸表示,提取人脸图像的全局特征;

S33:HR通道网络的每个分支网络学习围绕一个人脸组件裁剪的图像块的表示,提取人脸图像的局部特征;其中第一分支网络提取以眼部为中心的区域特征,第二分支网络提取以鼻子为中心的区域特征,第三分支提取以嘴巴为中心的区域特征;

S34:特征筛选模块结合软损失函数与中心损失函数筛选具有较好语义特性的人脸特征,通过联合训练的方式使类间特征的距离变大,同时让类内特征之间的距离减小;筛选出HR通道中代表受试者身份信息的人脸深度特征。

4.根据权利要求3所述的基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法,其特征在于:所述的步骤S34中,具体步骤为:S341:在HR通道网络末端使用软损失函数分类划分具有相同标签的语义特征得到语义集;设xn为第n个特征向量,yn为xn对应的标签,Wm为最后一层全连接层中权重W的第m列,b为偏差,N为每个batch大小,M为训练集种类个数,则软损失函数LS表示为:S342:使用中心损失函数计算人脸图像特征离该类中心的距离,将同一个类中的特征向当前所在类的中心聚拢,根据特征的分布在划分的语义集中筛选出具有较好语义特性的人脸特征,剔除同一类内与中心距离较远的特征向量;设cyn表示yn类的中心,它随着提取到的深层特征的变化而更新;xn表示第n个特征向量;则中心损失函数LC表示为:在迭代中,每个类中心点的变化取决于当前batch中相应类别的特征向量的均值,因此通过计算LC相对于xn的梯度更新类的中心cyn:中心损失函数用于在保持不同类的特征可分离的情况下,最大程度地减少特征的类内距离。

5.根据权利要求1所述的基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法,其特征在于:所述的步骤S4中,具体步骤为:S41:输入低分辨率人脸图片对LR通道网络进行预训练,对低分辨率人脸图片进行人脸检测和特征点定位,并划分出人脸特征采样区域,将各采样区域按分支类别输入到LR通道网络中;

S42:使用特征筛选模块中筛选出的高分辨率人脸深度特征集结合加权融合损失函数对LR通道网络的参数进行优化;具体步骤为:S421:设τ为蒸馏温度参数,ZHR为HR通道的最终输出特征,ZLR为LR通道的最终输出特征,softmax()为softmax函数,定义HR通道网络的软标签为:LR通道网络的软标签为:

定义软损失函数Lsoft为 和 之间的交叉熵:

软损失函数Lsoft使用软标签将知识从HR通道网络转移到LR通道网络;

S422:设H()为交叉熵损失函数,XLR为未软化类概率,y为标签值,定义硬损失函数Lhard用于增强LR通道网络的分类性能:Lhard=H(XLR,y);

i i

S423:设N为第N个特征向量,x为从高分辨率训练数据集中得出的样本,y 为从低分辨率训练数据集中得出的样本; 为显式映射函数,用于将样本投影至高维空间,使样本特征更易于分类,映射函数在不同分布的数据集中的形式不固定;为了减少HR通道网络与LR通道网络的数据集之间的差异,采用多核最大平均差异损失函数MK‑MMD作为分类损失函数LMMD(x,y):S424:设 分别为硬损失函数、软损失函数和归一化的多核最大平均差异损失函数MK‑MMD的特征损失的权重,采用加权的方式融合软损失函数Lsoft、硬损失函数Lhard和多核最大平均差异损失函数MK‑MMD,通过将多核最大平均差异损失函数MK‑MMD的分布差异整合到加权融合损失函数中来提升模型分类精度、提高模型的总体分类性能:通过向后传播算法求解得到优化后的LR通道网络的模型。

6.根据权利要求5所述的基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法,其特征在于:所述的步骤S423中,具体步骤为:2

S4231:设 为高斯核函数,用于将样本向量投影到高维空间;σ 为

成对距离平方的平均值,M为第M个特征向量;则采用高斯核函数对LR通道网络与HR通道网络的数据集中的样本进行投影,展开分类损失函数LMMD(x,y)为:S4232:将多核最大平均差异损失函数MK‑MMD特征差异损失进行归一化,用 和 替换原始特征x和y得到多核最大平均差异损失函数MK‑MMD归一化的特征差异损失为从而将多核最大平均差异损失函数MK‑MMD集成到加权融合损失函数中。

7.一种双通道多分支特征提取网络,其特征在于:包括HR通道网络、LR通道网络和加权融合损失函数;HR通道网络用于提取高分辨率人脸图片的特征;LR通道网络用于提取与高分辨率人脸图片具有相同受试者身份信息的低分辨率人脸图片的特征;加权融合损失函数用于将高识别率的HR通道网络的特征表示能力迁移到LR通道网络从而提高LR通道网络的分类精度;

HR通道网络和LR通道网络分别包括主干网络和分支网络;

HR通道网络包括HR主干网络、HR第一分支网络、HR第二分支网络、HR第三分支网络和特征筛选模块;HR主干网络用于提取人脸图像的全局特征;HR第一分支网络、HR第二分支网络和HR第三分支网络分别用于提取人脸裁剪的以眼部、鼻子和嘴巴为中心的局部特征;特征筛选模块用于筛选HR通道网络中代表受试者身份信息的人脸深度特征;

HR通道网络的架构采用GoogLeNet的inception‑v3模块组成,HR通道网络包括2个卷积层、6个inception模块、3个最大池化层、2个连接层和一个全连接层;HR主干网络包括一个Inception 4模块和Inception 5模块;HR第一分支网络、HR第二分支网络和HR第三分支网络分别包括一个Inception 4模块;

LR通道网络包括LR主干网络、LR第一分支网络、LR第二分支网络和LR第三分支网络;LR第一分支网络、LR第二分支网络和LR第三分支网络分别用于提取以眼部、鼻子和嘴巴为中心的局部特征;

LR通道网络的网络架构采用卷积块组成;LR通道网络包括11个卷积层、2个最大池化层和1个全连接层;

加权融合损失函数包括软损失函数、硬损失函数、多核最大平均差异损失函数MK‑MMD;

软损失函数用于通过使用软标签将知识从HR通道转移到LR通道;硬损失函数用于增强LR通道网络的分类性能;多核最大平均差异损失函数用于减少LR通道网络与HR通道网络的数据集间的差异。

8.根据权利要求7所述的一种双通道多分支特征提取网络,其特征在于:

inception‑v3模块包括三个连续的Inception模块组和辅助逻辑Auxiliary Logits、全局平均池化、Softmax分类;每个模块组包括多个Inception模块,用于充当多重卷积滤波器,对同一输入多次应用卷积从而提供更深层次的卷积,增加卷积和非线性变化、提炼特征、提升网络性能。

9.根据权利要求7所述的一种双通道多分支特征提取网络,其特征在于:

HR主干网络包括依次连接的第一卷积层、第二卷积层、第一最大池化层、inception3模块、第二最大池化层、第四inception4模块、第三最大池化层、inception5模块;

第二卷积层和inception3模块通过第一连接层连接第一inception4模块作为HR第一分支网络;

第二卷积层和inception3模块通过第一连接层接入第二inception4模块作为HR第二分支网络;

第二卷积层和inception3模块通过第一连接层接入第三inception4模块作为HR第三分支网络;

第二inception4模块与第三inception4模块连接第二连接层;

第二连接层连接全连接层,再与HR主干网络和HR第一分支网络合并;

HR通道网络的各层参数的设置为:

第一卷积层的卷积核尺寸为7*7,步长为2,输出尺寸为12*12*64;

第二卷积层的卷积核尺寸为3*3,步长为1,输出尺寸为3*3*192;

第一最大池化层、第二最大池化层和第三最大池化层的卷积核尺寸为2*2,输出尺寸为

6*6*64。

10.根据权利要求7所述的一种双通道多分支特征提取网络,其特征在于:LR主干网络包括依次连接的第三卷积层、第四卷积层、第四最大池化层、第五卷积层、第六卷积层、第五最大池化层、第七卷积层;

第四卷积层通过第三连接层依次连接第八卷积层、第九卷积层作为LR第一分支网络;

第四卷积层通过第三连接层依次连接第十卷积层、第十一卷积层作为LR第二分支网络;

第四卷积层通过第三连接层依次连接第十二卷积层、第十三卷积层作为LR第三分支网络;

LR主干网络、LR第一分支网络、LR第二分支网络和LR第三分支网络连接在全连接层上;

LR通道网络的各层参数的设置为:

第三卷积层的卷积核尺寸为7*7,步长为2,输出尺寸为12*12*64;

第四卷积层的卷积核尺寸为3*3,步长为1,输出尺寸为3*3*192;

第四最大池化层和第五最大池化层的卷积核尺寸为2*2,输出尺寸为6*6*64;

第五卷积层、第八卷积层、第十卷积层和第十二卷积层的卷积核尺寸为3*3,步长为1,输出尺寸为3*3*256;

第六卷积层、第九卷积层、第十一卷积层和第十三卷积层的卷积核尺寸为3*3,步长为

1,输出尺寸为3*3*512;

第七卷积层的卷积核尺寸为3*3,步长为1,输出尺寸为3*3*832。