利索能及
我要发布
收藏
专利号: 2020106053614
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸表情识别的方法,包括:检测待识别图像中的人脸关键点和人脸区域;

根据待识别图像中的所述人脸关键点,生成所述人脸区域对应的掩码图;

生成所述掩码图与所述人脸区域的融合图像;

将所述融合图像输入人脸表情识别模型,进行人脸表情识别,得到识别结果;

其中,所述根据待识别图像中的所述人脸关键点,生成所述人脸区域对应的掩码图,包括:生成一个与所述人脸区域大小一致的第一矩阵,所述第一矩阵中的值全是零;

将所述人脸关键点在所述第一矩阵中对应位置的值置1,得到第二矩阵;

对于所述第二矩阵中每个值为1的第一位置,确定所述第一位置周围预设范围内的第二位置,所述第二位置是所述第二矩阵中值为0的位置;

计算所述第二位置与所述第一位置之间的曼哈顿距离;

将所述第二位置的值设置为:1‑预设增量×曼哈顿距离。

2.根据权利要求1所述的方法,其中,检测待识别图像中的人脸区域,包括:对所述待识别图像进行人脸检测,确定预设尺寸的人脸区域;

对所述人脸区域进行归一化处理和数据增强处理。

3.根据权利要求1所述的方法,其中,所述生成所述掩码图与所述人脸区域的融合图像,包括:将所述掩码图与所述人脸区域做点乘运算,得到第三矩阵;

将所述第三矩阵与所述人脸区域对应位置的值相加,得到所述融合图像。

4.根据权利要求1‑3中任一项所述的方法,其中,所述根据待识别图像中的所述人脸关键点,生成所述人脸区域对应的掩码图,包括:根据所述人脸关键点中的五官关键点,生成所述人脸区域对应的掩码图。

5.根据权利要求1‑3中任一项所述的方法,其中,所述检测待识别图像中的人脸关键点,包括:通过预先训练好的人脸关键点检测模型,检测所述待识别图像中的人脸关键点。

6.根据权利要求5所述的方法,还包括:利用训练数据对所述人脸关键点检测模型和所述人脸表情识别模型的进行联合训练。

7.一种模型训练的方法,包括:

检测样本图像中的人脸区域;

根据预先标注的所述样本图像的人脸关键点,生成所述人脸区域对应的掩码图;

生成所述掩码图与所述人脸区域的融合图像;

将所述融合图像输入卷积神经网络模型,进行人脸表情识别模型和人脸关键点检测模型的联合训练;

其中,所述根据预先标注的所述样本图像的人脸关键点,生成所述人脸区域对应的掩码图,包括:生成一个与所述人脸区域大小一致的第一矩阵,所述第一矩阵中的值全是零;

将所述人脸关键点在所述第一矩阵中对应位置的值置1,得到第二矩阵;

对于所述第二矩阵中每个值为1的第一位置,确定所述第一位置周围预设范围内的第二位置,所述第二位置是所述第二矩阵中值为0的位置;

计算所述第二位置与所述第一位置之间的曼哈顿距离;

将所述第二位置的值设置为:1‑预设增量×曼哈顿距离。

8.根据权利要求7所述的方法,其中,所述卷积神经网络模型包括:卷积神经网络,用于根据输入的图像,提取特征图;

第一全连接层,用于根据所述卷积神经网络输出的特征图,进行人脸关键点检测;

第二全连接层,用于根据所述卷积神经网络输出的特征图,进行人脸表情识别。

9.根据权利要求8所述的方法,其中,所述联合训练的总损失函数值为:所述第一全连接层对应损失与所述第二全连接层对应损失之和。

10.根据权利要求7所述的方法,其中,检测样本图像中的人脸区域,包括:对所述样本图像进行人脸检测,确定预设尺寸的人脸区域;

对所述人脸区域进行归一化处理和数据增强处理。

11.根据权利要求7所述的方法,其中,所述成所述掩码图与所述人脸区域的融合图像,包括:将所述掩码图与所述人脸区域做点乘运算,得到第三矩阵;

将所述第三矩阵与所述人脸区域对应位置的值相加,得到所述融合图像。

12.根据权利要求7‑11中任一项所述的方法,其中,所述根据预先标注的所述样本图像的人脸关键点,生成所述人脸区域对应的掩码图,包括:根据所述人脸关键点中的五官关键点,生成所述人脸区域对应的掩码图。

13.一种人脸表情识别的装置,包括:检测模块,用于检测待识别图像中的人脸关键点和人脸区域;

掩码图生成模块,用于根据待识别图像中的所述人脸关键点,生成所述人脸区域对应的掩码图;

图像融合模块,用于生成所述掩码图与所述人脸区域的融合图像;

表情识别模块,用于将所述融合图像输入人脸表情识别模型,进行人脸表情识别,得到识别结果;

其中,所述掩码图生成模块还用于:

生成一个与所述人脸区域大小一致的第一矩阵,所述第一矩阵中的值全是零;

将所述人脸关键点在所述第一矩阵中对应位置的值置1,得到第二矩阵;

对于所述第二矩阵中每个值为1的第一位置,确定所述第一位置周围预设范围内的第二位置,所述第二位置是所述第二矩阵中值为0的位置;

计算所述第二位置与所述第一位置之间的曼哈顿距离;

将所述第二位置的值设置为:1‑预设增量×曼哈顿距离。

14.根据权利要求13所述的装置,其中,所述检测模块还用于:对所述待识别图像进行人脸检测,确定预设尺寸的人脸区域;

对所述人脸区域进行归一化处理和数据增强处理。

15.根据权利要求13所述的装置,其中,所述图像融合模块还用于:将所述掩码图与所述人脸区域做点乘运算,得到第三矩阵;

将所述第三矩阵与所述人脸区域对应位置的值相加,得到所述融合图像。

16.根据权利要求13‑15中任一项所述的装置,其中,所述掩码图生成模块还用于:根据所述人脸关键点中的五官关键点,生成所述人脸区域对应的掩码图。

17.根据权利要求13‑15中任一项所述的装置,其中,所述检测模块还用于:通过预先训练好的人脸关键点检测模型,检测所述待识别图像中的人脸关键点。

18.根据权利要求17所述的装置,还包括:模型训练模块,用于:利用训练数据对所述人脸关键点检测模型和所述人脸表情识别模型的进行联合训练。

19.一种模型训练的装置,包括:

检测模块,用于检测样本图像中的人脸区域;

掩码图生成模块,用于根据预先标注的所述样本图像的人脸关键点,生成所述人脸区域对应的掩码图;

图像融合模块,用于生成所述掩码图与所述人脸区域的融合图像;

联合训练模块,用于将所述融合图像输入卷积神经网络模型,进行人脸表情识别模型和人脸关键点检测模型的联合训练;

其中,所述掩码图生成模块还用于:

生成一个与所述人脸区域大小一致的第一矩阵,所述第一矩阵中的值全是零;

将所述人脸关键点在所述第一矩阵中对应位置的值置1,得到第二矩阵;

对于所述第二矩阵中每个值为1的第一位置,确定所述第一位置周围预设范围内的第二位置,所述第二位置是所述第二矩阵中值为0的位置;

计算所述第二位置与所述第一位置之间的曼哈顿距离;

将所述第二位置的值设置为:1‑预设增量×曼哈顿距离。

20.根据权利要求19所述的装置,其中,所述卷积神经网络模型包括:卷积神经网络,用于根据输入的图像,提取特征图;

第一全连接层,用于根据所述卷积神经网络输出的特征图,进行人脸关键点检测;

第二全连接层,用于根据所述卷积神经网络输出的特征图,进行人脸表情识别。

21.根据权利要求19所述的装置,其中,所述联合训练的总损失函数值为:第一全连接层对应损失与第二全连接层对应损失之和。

22.根据权利要求19所述的装置,其中,所述检测模块还用于:对所述样本图像进行人脸检测,确定预设尺寸的人脸区域;

对所述人脸区域进行归一化处理和数据增强处理。

23.根据权利要求19所述的装置,其中,所述图像融合模块还用于:将所述掩码图与所述人脸区域做点乘运算,得到第三矩阵;

将所述第三矩阵与所述人脸区域对应位置的值相加,得到所述融合图像。

24.根据权利要求19‑23中任一项所述的装置,其中,所述掩码图生成模块还用于:根据所述人脸关键点中的五官关键点,生成所述人脸区域对应的掩码图。

25. 一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6或者7‑12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑6或者7‑12中任一项所述的方法。