利索能及
我要发布
收藏
专利号: 2021100572265
申请人: 深圳信息职业技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于人工神经网络的人脸动态表情识别方法,其特征在于,所述方法应用于在人员固定场景下的视频中人员表情所属身份和/或表情强度类别预测;

所述方法包括:

获取待测人员的原始视频数据,并确定所述原始视频数据中预设帧数的图像数据;

依据所述预设帧数的图像数据生成特征组;

利用人工智能的自学习能力,建立所述待测人员的特征组与所述待测人员的动态表情分类之间的对应关系;

获取当前待测人员的当前特征组;

通过所述对应关系,确定与所述当前特征组所对应的当前动态表情分类;具体地,确定与所述当前特征组对应的当前动态表情分类,包括:将所述对应关系中与所述当前特征组相同的特征组所对应的动态表情分类,确定为所述当前动态表情分类。

2.根据权利要求1所述的方法,其特征在于,所述获取待测人员的原始视频数据,并确定所述原始视频数据中预设帧数的图像数据的步骤,包括:获取所述原始视频数据视频频帧率和视频时长;

依据所述视频帧率和所述视频时长确定所述原始视频数据中预设帧数的图像数据。

3.根据权利要求2所述的方法,其特征在于,所述依据所述视频帧率和视频时长确定所述原始视频数据中预设帧数的图像数据的步骤,包括:依据所述视频帧率和所述视频时长将所述原始视频数据平均分割为预设数量的视频段;

从每个所述视频段提取帧数位置相同的的图像数据作为所述预设帧数的图像数据。

4.根据权利要求1所述的方法,其特征在于,所述依据所述预设帧数的图像数据生成特征组的步骤,包括:

将所述预设帧数的图像数据进行灰度化处理生成与所述所述预设帧数的图像数据对应的灰度化图像数据组;其中,所述灰度化图像数据组包含数量与所述预设帧数相同的灰度化图像数据;

依据所述灰度图像数据组中的背景区域和非背景区域,生成增强图像组;

依据相邻视频段对应的所述灰度化图像数据生成包含有待测人员脸部在X轴方向和Y轴方向上运动信息的光流运动信息图像组;

依据所述灰度化图像数据组生成包含有所述灰度化图像数据4个方向的边缘的梯度输出图像组;

依据所述增强图像组、所述光流运动信息图像组和所述梯度输出图像组生成所述特征组。

5.根据权利要求1所述的方法,其特征在于,所述建立待测人员对应的特征组与所述待测人员的动态表情分类之间的对应关系的步骤,包括:获取用于建立所述特征组与所述动态表情分类之间的对应关系的样本数据;

分析所述特征组的特性及其规律,根据所述特性及其规律,确定所述人工神经网络的网络结构及其网络参数;

使用所述样本数据,对所述网络结构和所述网络参数进行训练和测试,确定所述特征组与所述动态表情分类的所述对应关系。

6.根据权利要求5所述的方法,其特征在于,所述获取用于建立所述特征组与所述动态表情分类之间的对应关系的样本数据的步骤,包括:收集不同样品的所述特征组与所述动态表情分类;

对所述特征组进行分析、并结合预存的专家经验信息,选取与所述动态表情分类相关的数据作为所述特征组;

将所述动态表情分类、以及选取的所述特征组构成的数据对,作为样本数据。

7.根据权利要求5‑6任一项所述的方法,其特征在于,对所述网络结构和所述网络参数进行训练,包括:选取所述样本数据中的一部分数据作为训练样本,将所述训练样本中的所述特征组输入到所述网络结构,通过所述网络结构的损失函数,激活函数和所述网络参数进行训练,得到实际训练结果;

确定所述实际训练结果与所述训练样本中的相应动态表情分类之间的实际训练误差是否满足预设训练误差;

当所述实际训练误差满足所述预设训练误差时,确定对所述网络结构和所述网络参数的所述训练完成;

和/或,

对所述网络结构和所述网络参数进行测试,包括:选取所述样本数据中的另一部分数据作为测试样本,将所述测试样本中的所述特征组输入到所述训练完成的所述网络结构中,以所述损失函数,激活函数和所述训练完成的所述网络参数进行测试,得到实际测试结果;

确定所述实际测试结果与所述测试样本中的相应动态表情分类之间的实际测试误差是否满足设定测试误差;

当所述实际测试误差满足所述设定测试误差时,确定对所述网络结构和所述网络参数的所述测试完成。

8.一种人工神经网络的人脸动态表情识别装置,其特征在于,所述方法应用于在人员固定场景下的视频中人员表情所属身份和/或表情强度类别预测;

具体包括:

预设帧数的图像数据生成模块,用于获取待测人员的原始视频数据,并确定所述原始视频数据中预设帧数的图像数据;

特征组生成模块,用于依据所述预设帧数的图像数据生成特征组;

对应关系建立模块,用于利用人工智能的自学习能力,建立所述待测人员的特征组与所述待测人员的动态表情分类之间的对应关系;

当前特征组获取模块,用于获取当前待测人员的当前特征组;

当前动态表情分类确定模块,用于通过所述对应关系,确定与所述当前特征组所对应的当前动态表情分类;具体地,确定与所述当前特征组对应的当前动态表情分类,包括:将所述对应关系中与所述当前特征组相同的特征组所对应的动态表情分类,确定为所述当前动态表情分类。

9.一种设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。