1.一种基于特征解耦的微表情识别方法,其特征在于,针对待识别人脸微表情图像,执行如下步骤S1‑步骤S4,完成待识别人脸微表情图像中人脸微表情的识别:S1:采集不同人脸普通表情图像样本,以经过预处理的各人脸普通表情图像样本为输入,基于特征提取模块、表情重建模块、表情分类模块,以人脸普通表情图像样本对应的表情类别为输出,构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情‑身份特征解耦网络,并采用不同人脸普通表情图像样本,结合预设对应的表情类别,对普通表情‑身份特征解耦网络进行训练,获得训练好的普通表情‑身份特征解耦网络;
S2:采集不同人脸微表情图像样本,以经过预处理的各人脸微表情图像样本为输入,以各人脸微表情图像样本对应的表情类别为输出,以训练好的普通表情‑身份特征解耦网络作为初始模型,采用迁移学习方法,构建微表情‑身份特征解耦网络,并采用不同人脸微表情图像样本,结合预设对应的表情类别,对微表情‑身份特征解耦网络进行训练,获得训练好的微表情‑身份特征解耦网络;
S3:基于步骤S1所获得的普通表情‑身份特征解耦网络、步骤S2所获得的微表情‑身份特征解耦网络,并结合鉴别器,采用对抗学习方法,获得对抗网络模型,并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本,对对抗网络模型进行训练,获得训练好的对抗网络模型;
步骤S3的具体步骤如下:
S31:将属于相同表情类别的一个人脸普通表情图像样本yc、以及一个人脸微表情图像样本xc分别输入至步骤S1所获得的普通表情‑身份特征解耦网络、以及步骤S2所获得的微表情‑身份特征解耦网络中,分别获得人脸普通表情图像样本yc所对应的人脸普通表情特征 以及人脸微表情图像样本xc所对应的人脸微表情特征S32:固定步骤S1训练好的普通表情‑身份特征解耦网络的参数、以及步骤S2训练好的微表情‑身份特征解耦网络的参数,将普通表情‑身份特征解耦网络输出的人脸普通表情特征,以及微表情‑身份特征解耦网络输出的人脸微表情特征输入鉴别器,进行对抗学习,其中鉴别器的损失函数LD如下式:式中, 为预测的人脸普通表情特征 的表情类别分布, 为预测的人脸微表情特征 的表情类别分布;
其中微表情‑身份特征解耦网络的对抗损失Ladv如下式:
S33:人脸微表情图像样本xc输入至微表情‑身份特征解耦网络中,微表情‑身份特征解耦网络的表情分类模块对人脸微表情图像样本xc进行分类的交叉熵L1损失如下式:式中,y为表情类别标签,L为表情类别标签总数, 为预测的人脸微表情特征 的表情类别分布;
S34:针对普通表情‑身份特征解耦网络、微表情‑身份特征解耦网络、鉴别器所构建的对抗网络模型,基于正则化法,引入损失不等正则化LLIR如下式:LLIR=max{L2‑L1,0}
式中,L2为人脸普通表情图像样本yc分类的交叉熵损失;
S35:计算对抗网络模型的总体损失函数LSUM如下式:
LSUM=L1+m1Ladv+m2LLIR
式中,m1、m2为超参数;
S36:使用属于相同表情类别的人脸普通表情图像样本、人脸微表情图像样本对抗网络模型进行训练,获得训练好的对抗网络模型;
S4:以步骤S3所获得的对抗网络模型中的微表情‑身份特征解耦网络作为微表情识别模型,针对待识别人脸图像,完成待识别人脸图像中人脸微表情的识别。
2.根据权利要求1所述的一种基于特征解耦的微表情识别方法,其特征在于,步骤S1中普通表情‑身份特征解耦网络包括特征提取模块、表情重建模块、表情分类模块,普通表情‑身份特征解耦网络具体结构如下:所述特征提取模块包括一个双分支特征提取器,双分支特征提取器包括身份特征提取器和表情特征提取器,其中身份特征提取器基于卷积神经网络及身份特征提取器损失函数,提取人脸普通表情图像样本的人脸身份特征,表情特征提取器基于卷积神经网络及表情特征提取器损失函数,提取人脸普通表情图像样本的人脸表情特征;
所述表情重建模块将一个人脸普通表情图像样本的人脸身份特征、与另一个人脸普通表情图像样本的人脸表情特征相融合,基于一个嵌入层对融合所获得的特征进行编码,并通过上采样和卷积神经网络放大特征的尺寸,生成表情迁移图像;
所述表情分类模块包括一个用于评估表情迁移图像效果、输出普通表情类别的鉴别器,鉴别器由卷积神经网络和全连接层组成,鉴别器包括两个分支,分别为人脸身份鉴别器分支和人脸表情鉴别器分支。
3.根据权利要求2所述的一种基于特征解耦的微表情识别方法,其特征在于,步骤S1中以经过预处理的各人脸普通表情图像样本为输入,基于特征提取模块、表情重建模块、表情分类模块,以人脸普通表情图像样本对应的表情类别为输出,构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情‑身份特征解耦网络的具体步骤如下:S11:特征提取:以经过预处理的各人脸普通表情图像样本中的两个不同的人脸普通表情图像样本Ie和Ii为输入,通过双分支特征提取器,分别提取人脸普通表情图像样本Ii的人脸身份特征 人脸普通表情图像样本Ie的人脸表情特征S12:表情重建:将人脸身份特征 和人脸表情特征 结合,重建人脸普通表情图像,以所重建的人脸普通表情图像作为表情迁移图像,其中重建损失Lrec如下式:S13:表情分类:将步骤S12所获得的表情迁移图像输入至表情分类模块的鉴别器中,鉴别器所使用的交叉熵函数Lc如下式:式中,y为表情类别标签,L为表情类别标签总数, 为预测的人脸表情特征 的表情类别分布;
S14:针对普通表情‑身份特征解耦网络引入配对图像一致性约束,通过配对图像一致性损失,调节普通表情‑身份特征解耦网络参数;
S15:使用各人脸普通表情图像样本对普通表情‑身份特征解耦网络进行训练,获得训练好的普通表情‑身份特征解耦网络。
4.根据权利要求3所述的一种基于特征解耦的微表情识别方法,其特征在于,步骤S2中以经过预处理的各人脸微表情图像样本为输入,以各人脸微表情图像样本对应的表情类别为输出,以训练好的普通表情‑身份特征解耦网络作为初始模型,构建微表情‑身份特征解耦网络的具体步骤如下:S21:固定步骤S1所获得的普通表情‑身份特征解耦网络的参数,将步骤S1训练好的普通表情‑身份特征解耦网络作为微表情‑身份特征解耦网络的初始模型,微表情‑身份特征解耦网络结构与普通表情‑身份特征解耦网络相同,均包括特征提取模块、表情重建模块、表情分类模块;
S22:基于迁移学习方法,使用经过预处理的不同人脸微表情图像样本,对微表情‑身份特征解耦网络的初始模型进行调整,获得微表情‑身份特征解耦网络。
5.根据权利要求2所述的一种基于特征解耦的微表情识别方法,其特征在于,特征提取模块的卷积神经网络包含至少一个卷积层,以及一个池化层,卷积层包括m1个k1×k1的卷积核,其中m1∈{64,128,256,512},k1∈{3,5,7},池化层包括k2×k2的池化核,其中k2∈{1,2,
3}。
6.一种基于特征解耦的微表情识别方法的系统,其特征在于,包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,针对待识别人脸微表情图像,执行如下步骤S1‑步骤S4,完成待识别人脸微表情图像中人脸微表情的识别:S1:采集不同人脸普通表情图像样本,以经过预处理的各人脸普通表情图像样本为输入,基于特征提取模块、表情重建模块、表情分类模块,以人脸普通表情图像样本对应的表情类别为输出,构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情‑身份特征解耦网络,并采用不同人脸普通表情图像样本,结合预设对应的表情类别,对普通表情‑身份特征解耦网络进行训练,获得训练好的普通表情‑身份特征解耦网络;
S2:采集不同人脸微表情图像样本,以经过预处理的各人脸微表情图像样本为输入,以各人脸微表情图像样本对应的表情类别为输出,以训练好的普通表情‑身份特征解耦网络作为初始模型,采用迁移学习方法,构建微表情‑身份特征解耦网络,并采用不同人脸微表情图像样本,结合预设对应的表情类别,对微表情‑身份特征解耦网络进行训练,获得训练好的微表情‑身份特征解耦网络;
S3:基于步骤S1所获得的普通表情‑身份特征解耦网络、步骤S2所获得的微表情‑身份特征解耦网络,并结合鉴别器,采用对抗学习方法,获得对抗网络模型,并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本,对对抗网络模型进行训练,获得训练好的对抗网络模型;
步骤S3的具体步骤如下:
S31:将属于相同表情类别的一个人脸普通表情图像样本yc、以及一个人脸微表情图像样本xc分别输入至步骤S1所获得的普通表情‑身份特征解耦网络、以及步骤S2所获得的微表情‑身份特征解耦网络中,分别获得人脸普通表情图像样本yc所对应的人脸普通表情特征 以及人脸微表情图像样本xc所对应的人脸微表情特征S32:固定步骤S1训练好的普通表情‑身份特征解耦网络的参数、以及步骤S2训练好的微表情‑身份特征解耦网络的参数,将普通表情‑身份特征解耦网络输出的人脸普通表情特征,以及微表情‑身份特征解耦网络输出的人脸微表情特征输入鉴别器,进行对抗学习,其中鉴别器的损失函数LD如下式:式中, 为预测的人脸普通表情特征 的表情类别分布, 为预测的人脸微表情特征 的表情类别分布;
其中微表情‑身份特征解耦网络的对抗损失Ladv如下式:
S33:人脸微表情图像样本xc输入至微表情‑身份特征解耦网络中,微表情‑身份特征解耦网络的表情分类模块对人脸微表情图像样本xc进行分类的交叉熵L1损失如下式:式中,y为表情类别标签,L为表情类别标签总数, 为预测的人脸微表情特征 的表情类别分布;
S34:针对普通表情‑身份特征解耦网络、微表情‑身份特征解耦网络、鉴别器所构建的对抗网络模型,基于正则化法,引入损失不等正则化LLIR如下式:LLIR=max{L2‑L1,0}
式中,L2为人脸普通表情图像样本yc分类的交叉熵损失;
S35:计算对抗网络模型的总体损失函数LSUM如下式:
LSUM=L1+m1Ladv+m2LLIR
式中,m1、m2为超参数;
S36:使用属于相同表情类别的人脸普通表情图像样本、人脸微表情图像样本对抗网络模型进行训练,获得训练好的对抗网络模型;
S4:以步骤S3所获得的对抗网络模型中的微表情‑身份特征解耦网络作为微表情识别模型,针对待识别人脸图像,完成待识别人脸图像中人脸微表情的识别。
7.一种存储软件的计算机可读取介质,其特征在于,所述可读取介质包括能通过一个或多个计算机执行的指令,所述指令在被所述一个或多个计算机执行时,执行如所述权利要求1‑5中任意一项所述一种基于特征解耦的微表情识别方法的操作。