1.一种双通道微表情识别方法,其特征在于,所述双通道微表情识别方法包括:通过对数据集进行标注获取数据集中微表情序列的初始帧和顶帧;并对获取的初始帧和顶帧进行预处理;
提取放大后的基于几何信息的人脸关键点区域,得到特征矩阵F,大小为30×7×7;使用depthwise卷积对特征矩阵F进行卷积,进行初步特征提取,得到特征矩阵F1,大小不变;
然后根据眉毛和嘴巴区域将F1分割,并转换为二维矩阵,得到F1e(大小为10×49)和F1mm(大小为20×49);
F1e和F1m分别利用transformer的encoder进行基于自注意力的特征学习,得到F2e和F2m,矩阵大小不变;将F2e和F2m分别转换为长度为490的一维向量Ve和长度为980的一维向量Vm;
将一维向量Ve和Vm经过全连接层分别得到长度为480的V1e和长度为960的V1m,并将V1e和V1m进行级联,得到长度为1440的V2;
利用图卷积网络进行动作单元信息特征的学习;
将基于自注意力的特征学习结果以及图卷积网络动作单元信息特征的学习结果进行融合,并利用softmax进行分类,即可得微表情识别结果。
2.如权利要求1所述双通道微表情识别方法,其特征在于,所述对获取的初始帧和顶帧进行预处理包括:将初始帧和顶帧进行校准、裁剪、灰度化和扩充预处理,得到大小为256像素×256像素的图片。
3.如权利要求2所述双通道微表情识别方法,其特征在于,所述提取放大后的基于几何信息的人脸关键点区域包括:
(1)将每个微表情样本的初始帧和顶帧输入基于深度学习的运动放大网络,得到放大后的微表情帧;
(2)通过dilb库来获取微表情放大帧的68个人脸的关键点坐标,将横纵坐标分别除以
2,得到几何特征表示的68个关键点坐标;
(3)将眉毛和嘴巴共30个关键点的坐标周围的7×7邻域以矩阵的形式进行提取;
(4)基于步骤(2)‑步骤(3)提取的关键点坐标得到每一个微表情样本的关键点集合的矩阵F;所述关键点集合矩阵大小为30×7×7,分别代表30个通道以及长和宽分别为7,每一个通道表示一个关键点。
4.如权利要求3所述双通道微表情识别方法,其特征在于,步骤(1)中,所述将每个微表情样本的初始帧和顶帧输入基于深度学习的运动放大网络,得到放大后的微表情帧包括:利用基于深度学习的运动放大网络对顶帧和初始帧的几何差异值乘以放大因子再叠加到顶帧上,获得放大帧;同时将中间层的放大后的几何特征表示抽出作为放大后的微表情特征表示。
5.如权利要求1所述双通道微表情识别方法,其特征在于,所述使用depthwise卷积对得到的特征矩阵F进行卷积,进行初步特征提取包括:在深度学习框架pytorch中将conv2d的参数设置为:in_channels=out_channels=groups=30,并使用same填充的方式保持卷积前后特征尺寸大小不变,将得到的特征矩阵F1根据眉毛(包含10个关键点)和嘴巴(包含
20个关键点)的区域进行分割,并转换为二维矩阵F1e=10×49和F1m=20×49。
6.如权利要求1所述双通道微表情识别方法,其特征在于,所述利用图卷积网络进行动作单元信息特征的学习包括;邻接矩阵A利用条件概率构建大小是9×9的动作单元信息;采用embedding的方式构建大小是9×40的节点矩阵N;并将N和A输入两层图卷积网络令节点矩阵N根据A进行n次特征学习,得到n个大小为9×160的输出特征矩阵Hi,i∈(1,n),将每个输出特征矩阵压缩为一个特征向量,大小为1440,共有n个,组合成一个矩阵F3,大小为n×
1440。
7.如权利要求1所述双通道微表情识别方法,其特征在于,所述将基于自注意力的特征学习结果以及图卷积网络动作单元信息特征的学习结果进行融合包括:将V2与F3的转置点乘,得到一个长度为n的向量。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:通过对数据集进行标注获取数据集中微表情序列的初始帧和顶帧;并对获取的初始帧和顶帧进行预处理;
提取放大后的基于几何信息的人脸关键点区域,得到特征矩阵F,大小为30×7×7;使用depthwise卷积对特征矩阵F进行卷积,进行初步特征提取,得到特征矩阵F1,大小不变;
然后根据眉毛和嘴巴区域将F1分割,并转换为二维矩阵,得到F1e(大小为10×49)和F1m(大小为20×49);
F1e和F1m分别利用transformer的encoder进行基于自注意力的特征学习,得到F2e和F2m,矩阵大小不变;将F2e和F2m分别转换为长度为490的一维向量Ve和长度为980的一维向量Vm;
将一维向量Ve和Vm经过全连接层分别得到长度为480的V1e和长度为960的V1m,并将V1e和V1m进行级联,得到长度为1440的V2;
利用图卷积网络进行动作单元信息特征的学习;
将基于自注意力的特征学习结果以及图卷积网络动作单元信息特征的学习结果进行融合,并利用softmax进行分类,即可得微表情识别结果。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
通过对数据集进行标注获取数据集中微表情序列的初始帧和顶帧;并对获取的初始帧和顶帧进行预处理;
提取放大后的基于几何信息的人脸关键点区域,得到特征矩阵F,大小为30×7×7;使用depthwise卷积对特征矩阵F进行卷积,进行初步特征提取,得到特征矩阵F1,大小不变;
然后根据眉毛和嘴巴区域将F1分割,并转换为二维矩阵,得到F1e(大小为10×49)和F1m(大小为20×49);
F1e和F1m分别利用transformer的encoder进行基于自注意力的特征学习,得到F2e和F2m,矩阵大小不变;将F2e和F1m分别转换为长度为490的一维向量Ve和长度为980的一维向量Vm;
将一维向量Ve和Vm经过全连接层分别得到长度为480的V1e和长度为960的V1m,并将V1e和V1m进行级联,得到长度为1440的V2;
利用图卷积网络进行动作单元信息特征的学习;
将基于自注意力的特征学习结果以及图卷积网络动作单元信息特征的学习结果进行融合,并利用softmax进行分类,即可得微表情识别结果。
10.一种实施权利要求1‑7任意一项所述双通道微表情识别方法的基于自注意力及图卷积神经网络的双通道微表情识别系统,其特征在于,所述基于自注意力及图卷积神经网络的双通道微表情识别系统包括:
预处理模块,用于对数据集数据进行预处理;
depthwise卷积模块,用于进行初步特征提取;
自注意力模块,用于对初步提取的特征进行特征学习;
动作单元信息模块,用于进行动作单元信息的学习;
融合模块,用于将自注意力模块学习结果以及动作单元信息学习结果进行融合、分类,并输出识别结果。