利索能及
我要发布
收藏
专利号: 2023105880327
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,包括如下步骤:步骤1、获取现有的公开数据集的微表情视频序列,并进行处理得到起始帧和顶点帧图像对序列;

步骤2、构建基于局部面部区域重构和记忆对比学习的微表情识别模型;

步骤3、对微表情识别模型进行预训练进行微调,同时构建总体损失函数来约束识别模型,进而训练优化模型,得到训练完成的微表情识别模型;

步骤4、获取当前人的面部表情样本,基于训练完成的微表情识别模型直接识别得到当前人的面部微表情。

2.根据权利要求1所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述微表情识别模型包括数据预处理模块、局部面部区域重构模块、记忆对比学习模块和分类模块;数据预处理模块提取处理后图像对序列的光流,构建光流输入序列并进行格式转换;局部面部区域重构模块包括编码器、使用Mask Token替换Patch Token的随机掩蔽操作、单独的Transformer块和解码器;记忆对比学习模块包括暂存训练样本特征的列表、存储类中心的历史记忆字典、暂存批量样本每类特征平均值的列表和动态更新后的记忆字典;分类模块包括由全连接层组成的多层感知机;其中,Patch Token 表示图像的小块转化的向量,Mask Token是可学习的零向量。

3.根据权利要求1所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述步骤1的具体过程如下:步骤1.1、首先在人脸定位的基础上,利用Dlib视觉库确定面部68个关键特征点,进行人脸裁剪和人脸矫正,实现人脸对齐;

步骤1.2、然后采用旋转、翻转、亮度变化、随机裁剪的方式进行数据增强;

步骤1.3、最后根据数据集的标注文件找到数据集中每个样本的起始帧和顶点帧,并存放在列表中,进而构建得到起始帧和顶点帧图像对序列。

4.根据权利要求1所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述步骤2中,微表情识别模型的具体工作流程为:步骤2.1、由微表情视频序列中的起始帧和顶点帧经过全变分光流估计算法得到光流输入序列,并进行格式转换;

步骤2.2、将转换后的序列作为局部面部区域重构模块的输入,转换后的序列首先经过编码器进行特征提取,提取得到特征嵌入,对特征嵌入进行随机掩蔽操作,得到包含Mask Token和Patch Token的特征嵌入组合序列;特征嵌入组合序列经过解码器进行局部面部区域的重构任务得到重构后的光流序列,进行重构的同时,特征嵌入组合序列同步经过单独的Transformer块提取得到分类特征;

步骤2.3、分类特征经过记忆对比学习模块约束网络提取区分性的特征,并经过分类模块进行微表情类别的预测。

5.根据权利要求4所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述步骤2.1的具体过程为:步骤2.1.1、采用全变分光流估计算法获取起始帧和顶点帧之间的光流估计,其中,表示图像的横坐标, 表示图像的宽, 表示图像的纵坐标, 表示图像的高度, 表示水平光流场,,表示垂直光流场, ,表示时间;将光流幅值 表示为:;

步骤2.1.2、将水平光流场 、垂直光流场 和光流幅度 进行级联生成光流输入图像;

步骤2.1.3、将光流输入图像划分为 个 尺寸的Patch拉平的 的序列, 表示Patch的个数,Patch是将输入图像划分为固定大小的小块, 表示Patch的尺寸, , 经过可训练的线性层投影到 维嵌入空间转变成向量格式, 表示通道数;然后在每个Patch嵌入的基础上加上位置嵌入;使用一个随机初始化的Class Token总结其他Token上的信息;最终得到所需的光流输入图像序列 表示为: (1);

其中, 是Class Token,Class Token表示图像类别语义信息的向量;

表示第 个Patch的嵌入, 是Patch嵌入投影, 是

位置嵌入;Token表示将文本和图像中每个单词和Patch转化为一个唯一的标识符。

6.根据权利要求5所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述步骤2.2中,编码器包含三个串联的Transformer块,每个Transformer块均由多头自注意力和多层感知机交替组成,第 个Transformer块的输出 表示为: (2);

 (3);

其中, 表示输入和经过层归一化和多头自注意力操作后的残差连接输出, 表示多头自注意力机制, 表示层归一化, 表示第 个Transformer块的输出,表示Transformer块的总个数, 表示多层感知机;

将编码器输出的特征嵌入记作:

 (4);

其中, 代表编码器输出的特征嵌入的第 个Patch的特征嵌入;

然后,按一定的概率 选择随机噪声值较大的位置记作随机掩蔽的索引,索引记作,其中 , 表示第 个索引,表示被掩蔽的特征嵌入的总个数,表示随机掩蔽的概率;

接下来,用基于这些索引的可学习的零向量Mask Token替换相应位置的Patch Token,其中Mask Token记作 ;

最后,将所有特征嵌入进行连接,得到特征嵌入组合序列 ,将 作为解码器和单独的Transformer块的输入: (5);

其中, 表示编码器输出的特征嵌入的Class Token特征嵌入; 表示编码器输出的特征嵌入的第1个Patch的特征嵌入; 表示 位置的Mask Token; 表示 位置的Mask Token; 代表编码器输出的特征嵌入的第 个Patch的特征嵌入;

解码器由三个Transformer块串联组成;使用特征嵌入组合序列 作为解码器和单独的Transformer块的输入,经过解码器进行局部面部区域的重构任务得到重构后的光流序列,同时经过单独的Transformer块获得分类特征,分类特征一方面用于计算存储在记忆字典中的类中心,另一方面直接传入全连接层组成的多层感知机进行微表情分类预测。

7.根据权利要求6所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述步骤2.3中,在模型的训练中引入了记忆对比学习,在历史记忆字典中存储每个类别的类中心 ,类别 的类中心 是每一个周期此类别的所有训练样本得到的特征集合 的平均值,其中 , 表示类别 的特征, 表示类别 的样本个数; 表示为:

 (6);

其中, 是单独的Transformer块输出的分类特征。

8.根据权利要求1所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述步骤3的具体过程如下:步骤3.1、使用海量人脸数据集CelebA进行重建任务预训练,然后采用微表情光流数据序列进行微调;根据留一验证法划分微表情识别模型训练的训练集和测试模型效果的测试集,也就是根据数据集标注文件中受试者标记选择一个受试者的样本作为测试集,其他的受试者的样本作为训练集;

步骤3.2、在训练期间,固定解码器参数以约束网络以提取有价值的特征;在随机掩蔽操作之后,解码器促进剩余特征学习与掩蔽特征的关系,使得网络模型具有对局部面部区域关系建模的能力;

步骤3.3、构建总体损失函数,约束识别模型;其中重建任务受均方误差损失的约束,记忆对比学习模块受聚类对比损失的约束,分类模块受交叉熵损失的约束。

9.根据权利要求8所述基于局部面部区域重构和记忆对比学习的微表情识别方法,其特征在于,所述步骤3.3的具体过程如下:步骤3.3.1、在模型的预训练和表情分类阶段,采用均方误差损失作为特征嵌入组合序列中Mask Token的像素重建目标函数,均方误差损失 的目标函数表示为: (7);

其中, 是Mask Token重建后得到的重构后的光流序列中的特征嵌入, 是Mask Token对应光流输入图像区域的特征嵌入,表示第 个Mask Token的索引,表示Mask Token的总个数;

步骤3.3.2、聚类对比损失 表示为:

(8);

其中, 表示指数函数,是温度超参数, 是单独的Transformer块输出的分类特征 对应样本的真值, 表示类别 的样本个数;通过历史记忆字典中的类中心和每次迭代的批量样本每类特征的平均值能够计算得到动态更新后的记忆字典,动态更新后的记忆字典的类中心 为: (9);

其中, 表示特征更新的动量参数, 表示批量中和第 个样本对应的类别相同的样本特征的均值, 表示更新;

步骤3.3.3、用于表情分类的交叉熵损失函数 定义为:

 (10);

其中, 为第 个样本对应的真实标签, 为预测的微表情类别,表示样本个数 的索引;

步骤3.3.4、最后将 、 和 的和作为网络训练的总体损失函数 : (11);

其中, 表示均方误差损失 权重系数, 表示聚类对比损失 的权重系数;

通过总体损失函数对微表情识别模型进行约束,训练优化获得有效和鲁棒的微表情识别模型。