利索能及
我要发布
收藏
专利号: 2021106062764
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸活体检测模型的训练方法,包括:

将多个训练图像输入人脸活体检测模型中,其中,所述多个训练图像包括人脸活体图像和N类攻击图像,所述人脸活体检测模型包括N个子模型和总体识别网络,所述N个子模型与所述N类攻击图像一一对应,每个子模型包括特征提取网络,N为大于或等于2的整数;

针对所述N个子模型中的每个子模型,利用所述子模型对所述人脸活体图像和与所述子模型对应的攻击图像进行识别,得到第一识别结果;

针对每个训练图像,利用每个子模型的特征提取网络提取训练图像的图像特征,得到与所述N个子模型对应的N个图像特征;

将所述N个图像特征进行拼接处理,得到总体图像特征;

将所述总体图像特征输入所述总体识别网络中进行识别,得到第二识别结果;以及基于所述第一识别结果和第二识别结果,调整所述人脸活体检测模型的模型参数,以得到经训练的人脸活体检测模型。

2.根据权利要求1所述的方法,其中,所述N个子模型中的每个子模型还包括识别网络;

其中,所述针对所述N个子模型中的每个子模型,利用所述子模型对所述人脸活体图像和与所述子模型对应的攻击图像进行识别包括:针对所述N个子模型中的每个子模型,利用所述子模型的特征提取网络提取所述人脸活体图像的图像特征和与所述子模型对应的攻击图像的图像特征;以及将所述人脸活体图像的图像特征和与所述子模型对应的攻击图像的图像特征,输入所述子模型的识别网络中进行识别。

3.根据权利要求1所述的方法,其中,所述人脸活体检测模型还包括基础特征提取网络;

其中,所述方法还包括,在利用所述子模型对所述人脸活体图像和与所述子模型对应的攻击图像进行识别之前:利用所述基础特征提取网络分别对所述人脸活体图像和与所述子模型对应的攻击图像进行特征提取处理,得到处理后的人脸活体图像和处理后的攻击图像,以便将处理后的人脸活体图像和处理后的攻击图像输入所述子模型,其中,所述基础特征提取网络包括深度可分离卷积网络MobileNet V2。

4.根据权利要求2所述的方法,其中,每个子模型的特征提取网络包括5个卷积层,每个子模型的识别网络包括1个全连接层和一个softmax层。

5.根据权利要求1所述的方法,其中,所述总体识别网络包括1个全连接层和一个softmax层。

6.根据权利要求1‑5中任意一项所述的方法,其中,所述N类攻击图像包括以下至少两个:针对显示于电子屏幕的人脸所采集的图像;

针对具有人脸的纸质照片所采集的图像;

针对具有人脸特征的平面面具所采集的图像;

针对立体人脸模型所采集的图像。

7.根据权利要求1‑5中任意一项所述的方法,还包括获取所述多个训练图像;

其中,所述获取所述多个训练图像包括以下至少一项:获取初始图像,并提取所述初始图像中人脸所在的区域图像作为训练图像;

获取初始图像,并对所述初始图像中的人脸进行人脸对齐操作,得到训练图像;

获取初始图像,并对所述初始图像中每个像素的像素值进行归一化处理;以及获取初始图像,对所述初始图像进行随机数据增强处理,并将所述初始图像和处理后的初始图像作为训练图像。

8.根据权利要求6所述的方法,还包括获取所述多个训练图像;

其中,所述获取所述多个训练图像包括以下至少一项:获取初始图像,并提取所述初始图像中人脸所在的区域图像作为训练图像;

获取初始图像,并对所述初始图像中的人脸进行人脸对齐操作,得到训练图像;

获取初始图像,并对所述初始图像中每个像素的像素值进行归一化处理;以及获取初始图像,对所述初始图像进行随机数据增强处理,并将所述初始图像和处理后的初始图像作为训练图像。

9.一种人脸活体检测方法,包括:

获取待识别人脸图像;

利用人脸活体检测模型对所述待识别人脸图像进行识别,以确定所述待识别人脸图像是否为人脸活体图像,其中,所述人脸活体检测模型是使用根据权利要求1‑8中任一项权利要求所述的方法来训练的。

10.根据权利要求9所述的方法,其中,所述利用人脸活体检测模型对所述待识别人脸图像进行识别,以确定所述待识别人脸图像是否为人脸活体图像包括:利用所述N个子模型中的特征提取网络分别对所述待识别人脸图像进行特征提取,得到与N个子模型对应的N个图像特征;

利用所述N个子模型中的识别网络分别对所述N个图像特征进行识别,得到与N个子模型对应的N个第一概率,每个第一概率表征了对应子模型识别所述待识别人脸图像为人脸活体图像的概率;

将所述N个图像特征进行拼接,得到总体图像特征;

利用所述总体识别网络对所述总体图像特征进行识别得到第二概率,所述第二概率表征了总体识别网络识别所述待识别人脸图像为人脸活体图像的概率;以及基于所述N个第一概率和所述第二概率,确定所述待识别人脸图像是否为人脸活体图像。

11. 根据权利要求10所述的方法,其中,所述基于所述N个第一概率和所述第二概率,确定所述待识别人脸图像是否为人脸活体图像包括:确定所述N个第一概率中的最大概率;以及

基于所述最大概率和所述第二概率的平均值,确定所述待识别人脸图像是否为人脸活体图像。

12.一种人脸活体检测模型的训练装置,包括:

图像输入模块,用于将多个训练图像输入人脸活体检测模型中,其中,所述多个训练图像包括人脸活体图像和N类攻击图像,所述人脸活体检测模型包括N个子模型和总体识别网络,所述N个子模型与所述N类攻击图像一一对应,每个子模型包括特征提取网络,N为大于或等于2的整数;

第一识别模块,用于针对所述N个子模型中的每个子模型,利用所述子模型对所述人脸活体图像和与所述子模型对应的攻击图像进行识别,得到第一识别结果;

特征提取模块,用于针对每个训练图像,利用每个子模型的特征提取网络提取训练图像的图像特征,得到与所述N个子模型对应的N个图像特征;

拼接模块,用于将所述N个图像特征进行拼接处理,得到总体图像特征;

特征输入模块,用于将所述总体图像特征输入所述总体识别网络中进行识别,得到第二识别结果;以及参数调整模块,用于基于所述第一识别结果和第二识别结果,调整所述人脸活体检测模型的模型参数,以得到经训练的人脸活体检测模型。

13.根据权利要求12所述的装置,其中,所述N个子模型中的每个子模型包括特征提取网络和识别网络;

其中,所述第一识别模块包括:

第一特征提取子模块,用于针对所述N个子模型中的每个子模型,利用所述子模型的特征提取网络提取所述人脸活体图像的图像特征和与所述子模型对应的攻击图像的图像特征;以及特征输入子模块,用于将所述人脸活体图像的图像特征和与所述子模型对应的攻击图像的图像特征,输入所述子模型的识别网络中进行识别。

14.根据权利要求12所述的装置,其中,所述人脸活体检测模型还包括基础特征提取网络;

其中,所述装置还包括,在利用所述子模型对所述人脸活体图像和与所述子模型对应的攻击图像进行识别之前:图像处理模块,用于利用所述基础特征提取网络分别对所述人脸活体图像和与所述子模型对应的攻击图像进行特征提取处理,得到处理后的人脸活体图像和处理后的攻击图像,以便将处理后的人脸活体图像和处理后的攻击图像输入所述子模型,其中,所述基础特征提取网络包括深度可分离卷积网络MobileNet V2。

15.根据权利要求13所述的装置,其中,每个子模型的特征提取网络包括5个卷积层,每个子模型的识别网络包括1个全连接层和一个softmax层。

16.根据权利要求12所述的装置,其中,所述总体识别网络包括1个全连接层和一个softmax层。

17.根据权利要求12‑16中任意一项所述的装置,其中,所述N类攻击图像包括以下至少两个:针对显示于电子屏幕的人脸所采集的图像;

针对具有人脸的纸质照片所采集的图像;

针对具有人脸特征的平面面具所采集的图像;

针对立体人脸模型所采集的图像。

18.根据权利要求12‑16中任意一项所述的装置,还包括训练图像获取模块,用于获取所述多个训练图像;

其中,所述训练图像获取模块包括以下至少一项:

提取子模块,用于获取初始图像,并提取所述初始图像中人脸所在的区域图像作为训练图像;

对齐操作子模块,用于获取初始图像,并对所述初始图像中的人脸进行人脸对齐操作,得到训练图像;

归一化处理子模块,用于获取初始图像,并对所述初始图像中每个像素的像素值进行归一化处理;以及增强处理子模块,用于获取初始图像,对所述初始图像进行随机数据增强处理,并将所述初始图像和处理后的初始图像作为训练图像。

19.根据权利要求17所述的装置,还包括训练图像获取模块,用于获取所述多个训练图像;

其中,所述训练图像获取模块包括以下至少一项:

提取子模块,用于获取初始图像,并提取所述初始图像中人脸所在的区域图像作为训练图像;

对齐操作子模块,用于获取初始图像,并对所述初始图像中的人脸进行人脸对齐操作,得到训练图像;

归一化处理子模块,用于获取初始图像,并对所述初始图像中每个像素的像素值进行归一化处理;以及增强处理子模块,用于获取初始图像,对所述初始图像进行随机数据增强处理,并将所述初始图像和处理后的初始图像作为训练图像。

20.一种人脸活体检测装置,包括:

图像获取模块,用于获取待识别人脸图像;

第二识别模块,用于利用人脸活体检测模型对所述待识别人脸图像进行识别,以确定所述待识别人脸图像是否为人脸活体图像,其中,所述人脸活体检测模型是使用根据权利要求1‑8中任一项权利要求所述的方法来训练的。

21.根据权利要求20所述的装置,其中,所述第二识别模块包括:第二特征提取子模块,用于利用所述N个子模型中的特征提取网络分别对所述待识别人脸图像进行特征提取,得到与N个子模型对应的N个图像特征;

第一识别子模块,用于利用所述N个子模型中的识别网络分别对所述N个图像特征进行识别,得到与N个子模型对应的N个第一概率,每个第一概率表征了对应子模型识别所述待识别人脸图像为人脸活体图像的概率;

拼接子模块,用于将所述N个图像特征进行拼接,得到总体图像特征;

第二识别子模块,用于利用所述总体识别网络对所述总体图像特征进行识别得到第二概率,所述第二概率表征了总体识别网络识别所述待识别人脸图像为人脸活体图像的概率;以及确定子模块,用于基于所述N个第一概率和所述第二概率,确定所述待识别人脸图像是否为人脸活体图像。

22. 根据权利要求21所述的装置,其中,所述确定子模块包括:第一确定单元,用于确定所述N个第一概率中的最大概率;以及第二确定单元,用于基于所述最大概率和所述第二概率的平均值,确定所述待识别人脸图像是否为人脸活体图像。

23.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1‑11中任一项所述的方法。