利索能及
我要发布
收藏
专利号: 2019104697239
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面部表情识别方法,其特征在于,所述面部表情识别方法包括:获取初始人脸图像,并对所述初始人脸图像进行人脸检测,得到目标人脸图像;

采用预设人脸对齐方法,提取所述目标人脸图像中的局部特征点;

将所述目标人脸图像输入到面部注意力机制的卷积神经网络模型中,其中,所述面部注意力机制的卷积神经网络模型包括对象网络和注意力网络,所述对象网络和所述注意力网络均为卷积神经网络;

采用所述对象网络,提取所述目标人脸图像中的整体面部特征数据;

采用所述注意力网络,提取所述局部特征点区域的特征数据,作为局部特征数据;

对所述整体面部特征数据和所述局部特征数据进行加权识别,得到面部表情识别结果。

2.如权利要求1所述的面部表情识别方法,其特征在于,所述采用预设人脸对齐方法,提取所述目标人脸图像中的局部特征点包括:从所述目标人脸图像中进行特征数据提取,得到特征数据集,并从所述特征数据集中随机选取m个特征数据作为聚类中心,其中,所述m为正整数;

针对所述特征数据集中的每个特征数据,计算该特征数据与每个所述聚类中心之间的第一距离,将该特征数据放入最小第一距离对应的聚类中心所在的聚类中,得到m个临时聚类;

按照预设公式,对m个临时聚类重新生成聚类中心;

返回执行所述针对所述特征数据集中的每个特征数据,计算该特征数据与每个所述聚类中心之间的第一距离,将该特征数据放入最小第一距离对应的聚类中心所在的聚类中,得到m个临时聚类的步骤,直到迭代次数达到预设次数;

将得到的m个所述临时聚类结果作为所述目标人脸图像中的局部特征点。

3.如权利要求1所述的面部表情识别方法,其特征在于,所述对象网络为VGG16网络,所述注意力网络为基于注意力机制的卷积神经网络,其中,所述基于注意力机制的卷积神经网络包括输入层、卷积层和特征裁剪层和全连接层,所述特征裁剪层用于对特征图进行裁剪。

4.如权利要求3所述的面部表情识别方法,所述采用所述注意力网络,提取所述局部特征点区域的特征数据,作为局部特征数据包括:通过所述注意力网络的输入层获取所述目标人脸图像的多通道数据;

通过所述注意力网络的卷积层对所述多通道数据进行卷积处理,得到卷积数据;

采用所述注意力网络的特征裁剪层,获取所述局部特征点对应的卷积数据,并对所述局部特征点对应的卷积数据进行卷积和池化处理,得到所述局部特征数据。

5.如权利要求1所述的面部表情识别方法,其特征在于,所述对所述整体面部特征数据和所述局部特征数据进行加权识别,得到面部表情识别结果包括:获取预设的第一加权系数和预设的第二加权系数;

使用所述预设的第一加权系数对所述整体面部特征数据进行加权,得到第一加权数据,使用所述设的第二加权系数对所述局部特征数据进行加权,得到第二加权数据,并将所述第一加权数据和所述第二加权数据进行综合,得到综合特征数据:使用n个预设分类器对所述综合特征数据进行相似度计算,得到所述综合特征数据属于该分类器对应的行为类别的概率,共得到n个所述概率,其中,每个分类器对应一种面部表情类别;

从n个所述概率中,选取概率最大的面部表情类别作为所述目标数据对应的面部表情识别结果。

6.一种面部表情识别装置,其特征在于,所述面部表情识别装置包括:图像获取模块,用于获取初始人脸图像,并对所述初始人脸图像进行人脸检测,得到目标人脸图像;

特征点提取模块,用于采用预设人脸对齐方法,提取所述目标人脸图像中的局部特征点;

图像输入模块,用于将所述目标人脸图像输入到面部注意力机制的卷积神经网络模型中,其中,所述面部注意力机制的卷积神经网络模型包括对象网络和注意力网络,所述对象网络和所述注意力网络均为卷积神经网络;

第一特征提取模块,用于采用所述对象网络,提取所述目标人脸图像中的整体面部特征数据;

第二特征提取模块,用于采用所述注意力网络,提取所述局部特征点对应的特征数据,作为局部特征数据;

表情识别模块,用于对所述面部特征数据和所述局部特征数据进行加权识别,得到面部表情识别结果。

7.如权利要求6所述的面部表情识别装置,其特征在于,所述特征点提取模块包括:初始聚类中心选取单元,用于从所述目标人脸图像中进行特征数据提取,得到特征数据集,并从所述特征数据集中随机选取m个特征数据作为聚类中心,其中,所述m为正整数;

临时聚类单元,用于针对所述特征数据集中的每个特征数据,计算该特征数据与每个所述聚类中心之间的第一距离,将该特征数据放入最小第一距离对应的聚类中心所在的聚类中,得到m个临时聚类;

聚类中心生成单元,用于按照预设公式,对m个临时聚类重新生成聚类中心;

循环迭代单元,用于返回执行所述针对所述特征数据集中的每个特征数据,计算该特征数据与每个所述聚类中心之间的第一距离,将该特征数据放入最小第一距离对应的聚类中心所在的聚类中,得到m个临时聚类的步骤,直到迭代次数达到预设次数;

局部特征点确定单元,用于将得到的m个所述临时聚类结果作为所述目标人脸图像中的局部特征点。

8.如权利要求6所述的面部表情识别装置,其特征在于,所述第二特征提取模块包括:多通道数据提取单元,用于通过所述注意力网络的输入层获取所述目标人脸图像的多通道数据;

数据卷积单元,用于通过所述注意力网络的卷积层对所述多通道数据进行卷积处理,得到卷积数据;

数据裁剪单元,用于采用所述注意力网络的特征裁剪层,获取所述局部特征点对应的卷积数据,并对所述局部特征点区域对应的卷积数据卷积和池化处理,得到所述局部特征数据。

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至

5任一项所述的面部表情识别方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的面部表情识别方法。