利索能及
我要发布
收藏
专利号: 2023108545655
申请人: 成都信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,包括:获取微表情数据集中微表情起始帧到结束帧的帧数据;

对所述帧数据做预处理,提取光流信息和人脸动作单元;

将所述光流信息和人脸动作单元输入至微表情识别网络进行训练,得到训练后的微表情识别网络;其中,所述微表情识别网络中通过自适应加权损失函数进行深度特征增强;

获得待处理图像,将所述待处理图像输入至所述训练后的微表情识别网络,获得微表情识别结果。

2.根据权利要求1所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,所述光流信息包括水平光流特征图、垂直光流特征图、光流应变特征图和RAFT光流特征图;所述人脸动作单元为面部动作特征序列。

3.根据权利要求2所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,提取光流信息的方法包括:

采集所述帧数据的起始帧和峰值帧,获得若干第一图像;

对若干第一图像依次做人脸裁剪、背景黑化,获得若干第二图像;

对第二图像分别进行水平、垂直、光流应变和RAFT光流特征提取,得到水平光流特征图、垂直光流特征图、光流应变特征图和RAFT光流特征图;

提取人脸动作单元的方法包括:

对所述帧数据做面部动作特征提取,对提取的面部动作特征做归一化处理,得到面部动作特征序列。

4.根据权利要求3所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,在人脸裁剪前,通过如下方法对第一图像做裁剪框坐标归一化处理:累加如下参数,获得累加结果:所述帧数据中,每个图像对应初始裁剪框的左上顶点高度和宽度、右上顶点高度和宽度、最下面顶点高度和宽度;

基于所述累加结果,分别计算左上顶点高度和宽度的均值,定义为第一均值、第二均值;计算右上顶点宽度的均值,定义为第三均值;计算最下面顶点高度的均值,定义为第五均值;

以第一均值和第五均值的绝对值差值,作为最终裁剪框的高度;

以第二均值和第三均值的绝对值差值,作为最终裁剪框的宽度;

基于最终裁剪框的高度和宽度,获得最终裁剪框。

5.根据权利要求3所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,对提取的面部动作特征做归一化处理的方法包括:将视频帧序列第一帧的面部动作特征作为基线面部动作特征;

将起始帧到结束帧的面部动作特征,依次与所述基线面部动作特征进行差值计算,得到归一化后的面部动作特征。

6.根据权利要求2所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,将所述光流信息和人脸动作单元输入至微表情识别网络进行训练的方法包括:利用水平光流特征图、垂直光流特征图、光流应变特征图、RAFT光流特征图、面部动作特征序列,构建训练集;

将训练集中的面部动作特征序列输入AUs特征提取模块,得到AUs深度特征;

将训练集中的水平光流特征图、垂直光流特征图和光流应变特征图输入第一光流特征提取模块,得到第一光流深度特征;

将训练集中的RAFT光流特征图输入第二光流特征提取模块,得到第二光流深度特征;

将所述AUs深度特征、第一光流深度特征、第二光流深度特征进行深度特征融合,输出融合后的深度特征;

通过所述自适应加权损失函数对融合后的深度特征做深度特征进行深度特征增强;

输出训练结果。

7.根据权利要求6所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,所述AUs特征提取模块通过如下方法得到AUs深度特征:在面部动作特征的时间维度上添加时间位置编码,通过时间自注意力层建立同一个人脸动作单元在不同帧之间的位置关系;

在面部动作特征的空间维度上添加CLS token,通过空间自注意力层建立局部人脸动作单元与全局面部动作特征的关系;

通过若干层Transformer Encoder,输出面部动作特征的时空信息,取出预设尺寸的CLS token作为所述AUs深度特征。

8.根据权利要求6所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,所述AUs深度特征、第一光流深度特征、第二光流深度特征通过浅层Transformer进行深度特征融合。

9.根据权利要求6所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,所述第一光流特征提取模块、第二光流特征提取模块均通过若干依次连接的残差卷积网络提取光流深度特征。

10.根据权利要求1~9中任一所述的一种基于改进的隐式语义数据增强的微表情识别方法,其特征在于,所述自适应加权损失函数为:式中:Lj为第j类样本的自适应加权损失;C为类别数量;μj为第j类样本的权重值; 为第j类样本的未加权损失;

其中:

式中:N为总样本数;Nj为第j类样本的数量;ε∈(0,1)。