利索能及
我要发布
收藏
专利号: 2024119342697
申请人: 昆明仁量科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多任务级联卷积网络的人脸识别处理方法,其特征在于,包括如下操作步骤:

构建多任务级联卷积网络,将多任务级联卷积网络划分为三级卷积神经网络,第一级联网络为P‑Net,第二级联网络和第三级联网络分别为R‑Net与O‑Net;采集获取单人脸图像样本集对所述多任务级联卷积网络进行训练,获得收敛后的多任务级联卷积网络;

获取待检测人脸图像,将所述待检测人脸图像进行预处理,将所述预处理后的待检测人脸图像输入至所述第一级联网络,获得包含人脸候选窗口图像;

将所述包含人脸候选窗口图像通过所述第二级联网络的置信度筛选;将所述置信度筛选后的人脸候选窗口图像输入至第三级联网络,第三级联网络进行处理输出最终的包含人脸的图像获取待检测人脸图像,将所述待检测人脸图像进行预处理,将所述预处理后的待检测人脸图像输入至所述第一级联网络,获得包含人脸候选窗口图像,具体包括:将所述待检测人脸图像进行预处理,以获得待检测人脸图像的图像金字塔;所述图像金字塔包括预处理后的多层的人脸图像;所述预处理是指对当前的待检测人脸图像进行多次缩放,每次缩放得到一层的人脸图像;

在对每一层的缩放图像进行滑动检测所述人脸图像时,关联相邻层的步长采用变化的调节步长进行滑动检测得到包含人脸候选窗口图像,具体包括:初始化处理时,获取当前层的缩放图像相对于原图像的缩放比例;然后在当前层的缩放图像上检测单一目标人脸,在当前层内随机设置个标准步长;

在当前层的缩放图像上按照所述标准步长进行滑动检测第一人脸目标物,输出针对当前第一人脸目标物的多个候选窗口;针对当前第一人脸目标物进行单一目标检测,获得针对当前第一人脸目标物的多个候选窗口;

判断当前层的缩放图像上当前第一人脸目标物的多个候选窗口的第一人脸目标的置信度;确定置信度大于标准置信度阈值为有效候选窗口;判断当前第一人脸目标物的多个有效候选窗口是否大于候选窗口数量限制阈值;如果有效候选窗口的数量大于候选窗口数量限制阈值,则认为当前所选的第一人脸目标物的候选窗口还是很多,所以判定当前层的标准步长依然小,因此在对当前层的缩放图像上进行第二人脸目标物检测时,增加当前层预设的步长,实现第二人脸目标物检测,重复上述步骤判断当前第二人脸目标物的多个有效候选窗口是否大于候选窗口数量限制阈值,如果有效候选窗口的数量仍然大于候选窗口数量限制阈值,则针对第三人脸目标物检测时继续增加步长直至当前层的多个人脸目标物检测完或者直至当前层的第n个人脸目标物检测的有效候选窗口的数量小于候选窗口数量限制阈值则不再增加标准步长的长度;确定最终的标准步长长度为当前层的缩放图像的目标标准步长;在下一层的缩放图像进行滑动检测时,首先判断下一层的缩放图像与对当前层的缩放图像的关系,如果下一层的缩放图像是当前层的缩放图像的进一步缩放图像;则直接调用上一层的缩放图像的目标标准步长作为本层的缩放图像标准步长进行本层的缩放图像上滑动检测第1‑m个人脸目标物;继续重复上述步骤,判断执行目标标准步长在本层的第1‑m个人脸目标物检测时是否需要继续执行调节步长进行滑动检测处理。

2.根据权利要求1所述一种基于多任务级联卷积网络的人脸识别处理方法,其特征在于,采集获取单人脸图像样本集对所述多任务级联卷积网络进行训练,获得收敛后的多任务级联卷积网络,获得收敛后的多任务级联卷积网络,具体包括:对所述单人脸图像样本集分别建立关于人脸面部的分类的特征描述子、候选窗口回归的特征描述子、人脸地标定位的特征描述子;基于所述人脸面部的分类的特征描述子构建人脸分类的交叉熵损失函数,基于所述候选窗口回归的特征描述子构建候选窗口的回归损失函数,基于所述人脸地标定位的特征描述子构建地标位置的回归损失函数;

基于所述人脸分类的交叉熵损失函数、候选窗口的回归损失函数和地标位置的回归损失函数构建多任务级联卷积网络的目标总损失函数;在确定所述目标总损失函数时,求解得到收敛后的最终多任务级联卷积网络。

3.根据权利要求2所述一种基于多任务级联卷积网络的人脸识别处理方法,其特征在于,对所述单人脸图像样本集分别建立关于人脸面部的分类的特征描述子、候选窗口回归的特征描述子、人脸地标定位的特征描述子;基于所述人脸面部的分类的特征描述子构建人脸分类的交叉熵损失函数,基于所述候选窗口回归的特征描述子构建候选窗口的回归损失函数,基于所述人脸地标定位的特征描述子构建地标位置的回归损失函数,具体包括:对单人脸图像样本集进行人脸面部的分类,对所述单人脸图像样本集采用人脸分类的交叉熵损失函数计算:

式中,pi为是当前人脸面部属于人的概率, 为背景的真实标签;

对所述单人脸图像样本集的人脸面部进行预测的候选窗口实施框选,所述预测的候选窗口与真实候选窗口之间存在偏移量,通过欧氏距离计算的候选窗口的回归损失函数:;

式中, 通过多任务级联卷积网络预测得到的候选窗口的位置, 为真实候选窗口的位置;

基于当前预测的面部地标坐标与面部的真实地标计算欧氏距离,通过欧氏距离计算的地标位置的回归损失函数;

式中, 是从多任务级联卷积网络中获得的预测面部地标坐标,而 是面部的真实地标坐标。

4.根据权利要求3所述一种基于多任务级联卷积网络的人脸识别处理方法,其特征在于,基于所述人脸分类的交叉熵损失函数、候选窗口的回归损失函数和地标位置的回归损失函数构建多任务级联卷积网络的目标总损失函数;在确定所述目标总损失函数时,求解得到收敛后的最终多任务级联卷积网络,具体包括:基于前述计算的所述人脸分类的交叉熵损失函数、所述候选窗口的回归损失函数、所述地标位置的回归损失函数计算所述目标总损失函数,基于所述目标总损失函数求取最小值:; ;

式中,N为训练样本数量,αj表示不同网络结构的损失函数的权重,βj为样本标签,Lj为损失函数;

在确定所述目标总损失函数求取最小值时,获取所述目标总损失函数最小值时相对应的优化多任务级联卷积网络参数;基于求解的优化多任务级联卷积网络参数对多任务级联卷积网络进行训练,得到最终的多任务级联卷积网络;即直至训练网络参数稳定,训练完成后,保存最终的多任务级联卷积网络。

5.根据权利要求4所述一种基于多任务级联卷积网络的人脸识别处理方法,其特征在于,获取待检测人脸图像,将所述人脸候选窗口图像在输入第二级联网络之前,还包括筛选人脸候选窗口图像中需要进行图像候选窗口的正方形转换的目标候选窗口;

确定需要转换为正方形的目标候选窗口的位置和尺寸大小;将候选窗口的两条较长边进行同时对外拉伸,使较短的两条边长度与较长的两条边长度形成相等的正方形;对拉伸成正方形的候选窗口进行裁剪,将裁剪后的候选窗口的内部图像进行24×24的缩放;

重复上述步骤:将人脸候选窗口图像的多个候选窗口转换为正方形候选窗口,直到所有候选窗口的内部图像都被转换为24×24的正方形候选窗口;

将多个正方形候选窗口转换为24×24的正方形人脸候选窗口图像进行输入第二级联网络中,将正方形候选窗口进行置信度的排序,将最高置信度的正方形候选窗口与其余低置信度的正方形候选窗口进行计算重叠度;若所述最高置信度的正方形候选窗口与低置信度的正方形候选窗口的重叠度大于计算的重叠度阈值,则将该低置信度的正方形候选窗口进行剔除掉;将剩余低置信度正方形候选窗口进行计算重叠度,直到剔除所有正方形候选窗口重叠度大于计算的重叠度阈值为止;得到重叠度小于计算的重叠度阈值的多个目标人脸候选窗口图像,将重叠度小于计算的重叠度阈值的正方形候选窗口输入值第三级联网络进行后续操作。

6.根据权利要求5所述一种基于多任务级联卷积网络的人脸识别处理方法,其特征在于,在所述重叠度小于计算的重叠度阈值的正方形候选窗口进行输入至第三级联网络之前,还包括:将所述第二级联网络输出的矩形候选窗口进行缩放为48×48的尺寸的正方形候选窗口;将候选窗口的两条较长边进行同时对外拉伸,使较短的两条边长度与较长的两条边长度形成相等的正方形;对拉伸成正方形的候选窗口进行裁剪,将裁剪后的候选窗口的内部图像进行48×48的缩放;将所有候选窗口进行转换为48×48的正方形候选窗口;

将所述转换为48×48的正方形候选窗口进行最终的计算置信度的重叠度,得到最后的目标检测窗口。

7.根据权利要求6所述一种基于多任务级联卷积网络的人脸识别处理方法,其特征在于,所述第三级联网络进行处理输出最终的包含人脸的图像,具体包括:所述第三级联网络通过目标检测窗口当前人脸面部进行最终候选框的输出;确定所述最终候选框的坐标,并得到所述最终的包含人脸的图像。

8.一种存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1‑7任一项所述的一种基于多任务级联卷积网络的人脸识别处理方法的步骤。