利索能及
我要发布
收藏
专利号: 2020112179535
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种表情识别神经网络模型的训练方法,所述表情识别神经网络模型包括主神经网络模型和至少一个分支神经网络模型,所述主神经网络模型包括多个依次连接的第一卷积层,其中,所述训练方法包括:获取包含人脸的样本图像,并标注所述样本图像中所包含的人脸的真实表情类别及其真实类别置信度;

从所述多个依次连接的第一卷积层中除靠近输出侧的最后一个第一卷积层以外的多个第一卷积层中确定至少一个第一卷积层;

响应于所述样本图像输入所述主神经网络模型,所述主神经网络模型输出所述样本图像中所包含的人脸的主预测表情类别及其主预测类别置信度;

针对每一个所述分支神经网络模型,响应于所述至少一个第一卷积层中相应的其中一个输出的特征图输入所述分支神经网络模型,所述分支神经网络模型输出所述样本图像中所包含的人脸的分支预测表情类别及其分支预测类别置信度;

基于所述主预测表情类别及其主预测类别置信度,以及所述真实表情类别及其真实类别置信度,确定主损失值;

针对每一个所述分支神经网络模型,基于所述分支预测表情类别及其分支预测类别置信度,以及所述真实表情类别及其真实类别置信度,确定分支损失值;以及至少基于所述主损失值和至少一个所述分支损失值调整所述神经网络模型的参数。

2.如权利要求1所述的训练方法,其中,所述至少基于所述主损失值和至少一个所述分支损失值调整所述神经网络模型的参数包括:计算所述主损失值和所述至少一个所述分支损失值的第一加权和;以及至少基于所述第一加权和调整所述神经网络模型的参数。

3.如权利要求1所述的训练方法,其中,所述至少一个第一卷积层包括两个或两个以上第一卷积层,所述至少一个第一卷积层中的至少其中之一靠近所述主神经网络模型的输入侧。

4.如权利要求3所述的训练方法,其中,所述主神经网络模型为VGG11卷积神经网络模型,所述至少一个第一卷积层包括所述VGG11卷积神经网络模型的第三个卷积层和第八卷积层。

5.如权利要求1所述的训练方法,其中,所述分支神经网络模型包括多个依次连接的第二卷积层;

所述训练方法还包括:

基于所述主神经网络模型的最靠近输出侧的最后一个第一卷积层输出的多个特征图、所述至少一个分支神经网络模型中每一个的最靠近输出侧的最后一个第二卷积层输出的多个特征图,以及所述多个特征图各自相应的类别特征中心,确定中心损失值,其中,所述至少基于所述主损失值和至少一个所述分支损失值调整所述神经网络模型的参数包括:计算所述主损失值、所述至少一个所述分支损失值和所述中心损失值的第二加权和;

基于所述第二加权和,调整所述神经网络模型的参数。

6.如权利要求1‑5中任一项所述的训练方法,还包括:

在所述样本图像输入所述主神经网络模型之前,对所述包含人脸的样本图像进行预处理。

7.如权利要求6所述的训练方法,其中,所述对所述包含人脸的样本图像进行预处理包括:确定所述样本图像中的人脸所在的区域;

基于所述人脸所在的区域,确定人脸的多个关键点的坐标值;

基于所述多个关键点的坐标值,生成仿射矩阵;以及

基于所述仿射矩阵对所述样本图像进行仿射变换,以对样本图像中的人脸进行人脸对齐,其中,所述仿射矩阵中包括眼角关键点的连线与水平方向的夹角参数。

8.如权利要求7所述的训练方法,其中,所述对所述包含人脸的样本图像进行预处理还包括:在所述对所述样本图像进行仿射变换之后,对所述样本图像进行归一化处理。

9.如权利要求8所述的训练方法,其中,所述对所述包含人脸的样本图像进行预处理还包括:在所述对样本图像进行归一化处理之后,对所述样本图像进行随机数据增强处理。

10.一种表情识别方法,包括:

将包含人脸的待识别图像输入表情识别神经网络模型,所述表情识别神经网络模型包括主神经网络模型和至少一个分支神经网络模型,所述主神经网络模型包括多个依次连接的第一卷积层;

响应于所述待识别图像输入所述主神经网络模型,获取所述主神经网络模型输出的主特征向量;

响应于至少一个所述第一卷积层中相应的其中一个输出的特征图输入所述分支神经网络模型,获取所述分支神经网络模型输出的分支特征向量,其中,所述至少一个第一卷积层为从所述多个依次连接的第一卷积层中除靠近输出侧的最后一个第一卷积层以外的多个第一卷积层中确定;以及基于所述主特征向量和所述分支特征向量,确定所述待识别图像中所包含的人脸的表情类别及其类别置信度。

11.如权利要求10所述的表情识别方法,其中,所述基于所述主特征向量和所述分支特征向量,确定所述待识别图像中所包含的人脸的表情类别及其类别置信度包括:将所述主特征向量和所述分支特征向量进行通道叠加;以及

基于通道叠加所得到的特征向量,确定所述待识别图像中所包含的人脸的表情类别及其类别置信度。

12.如权利要求10或11所述的表情识别方法,还包括:在将包含人脸的待识别图像输入表情识别神经网络模型之前,对所述待识别图像进行预处理。

13.一种表情识别装置,包括:

表情识别神经网络模型,包括主神经网络模型和至少一个分支神经网络模型,所述主神经网络模型包括多个依次连接的第一卷积层;

输入单元,被配置用于将包含人脸的待识别图像输入所述表情识别神经网络模型;

第一获取单元,被配置用于响应于所述待识别图像输入所述主神经网络模型,获取所述主神经网络模型输出的主特征向量;

第二获取单元,被配置用于响应于至少一个所述第一卷积层中相应的其中一个输出的特征图输入所述分支神经网络模型,获取所述分支神经网络模型输出的分支特征向量,其中,所述至少一个第一卷积层为从所述多个依次连接的第一卷积层中除靠近输出侧的最后一个第一卷积层以外的多个第一卷积层中确定;以及确定单元,被配置用于基于所述主特征向量和所述分支特征向量,确定所述待识别图像中所包含的人脸的表情类别及其类别置信度。

14.如权利要求13所述的表情识别装置,其中,所述确定单元包括:叠加子单元,被配置用于将所述主特征向量和所述分支特征向量进行通道叠加;以及确定子单元,被配置用于基于通道叠加所得到的特征向量,确定所述待识别图像中所包含的人脸的表情类别及其类别置信度。

15.如权利要求13或14所述的表情识别装置,还包括:预处理单元,被配置用于在将包含人脸的待识别图像输入所述表情识别神经网络模型之前,对所述待识别图像进行预处理。

16.一种计算设备,包括:

处理器;以及

存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1‑9中任一项所述的训练方法和/或根据权利要求10‑12中任一项所述的识别方法。

17.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由计算设备的处理器执行时,致使所述计算设备执行根据权利要求1‑9中任一项所述的训练方法和/或根据权利要求10‑12中任一项所述的识别方法。