利索能及
我要发布
收藏
专利号: 2022105621506
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗网络的微表情判别模型训练方法,其特征在于,包括步骤:S1、使用生成图像和目标图像的L1范数作为像素重建的第一损失函数,对生成器进行第一预训练;

S2、使用分类结果的交叉熵损失、增强标签的交叉熵损失的总和作为第二损失函数,对判别器进行第二预训练;

S3、将经过第一预训练的生成器、第二预训练的判别器进行连接,以生成对抗网络模型;

S4、基于第一损失函数、第二损失函数,并引入对抗损失函数,对对抗网络模型进行联合训练,以得到训练后的微表情判别模型,在对抗损失函数中,生成器以对抗损失函数最小化为目标,判别器以对抗损失函数最大化为目标;

步骤S1中,对生成器进行第一预训练时的第一损失函数为:Lpixel(G)=||G(xweak)‑xapex||1,其中,xweak为原始的弱人脸微表情图像,xapex为原始的顶点帧附近的强人脸微表情图像,G(xweak)是由原始的弱人脸微表情图像xweak生成的对应的伪顶点帧附近的强人脸微表情图像;

步骤S2中,对判别器进行第二预训练时的第二损失函数为:Lcls+el(D)=L1(yprecls,ycls)+λL2(ypreel,yel),l

其中,L1(yprecls,ycls)表示实际微表情种类yc s和预测的微表情种类yprecls的交叉熵损失;L2(ypreel,yel)为增强标签yel和预测增强标签ypreel的交叉熵损失,λ表示第一加权值;

步骤S4中,引入的对抗损失函数具体为:

T T

其中,G表示生成器、D表示判别器,logD(xapex)是[1 0]和[D(xapex) 1‑D(xapex)]之间的交叉熵, 表示强人脸微表情图像xapex按分布概率p(xapex)进行取样T T

时logD(xapex)的期望值;log(1‑D(G(xweak)))是[1 0]和[D(G(xweak))1‑D(G(xweak))] 之间的交叉熵, 表示当输入弱人脸微表情图像xweak按分布概率p(xweak)进行取样时log(1‑D(G(xweak)))的期望值。

2.根据权利要求1所述的一种基于生成对抗网络的微表情判别模型训练方法,其特征在于,在生成器的第一预训练过程和对抗网络模型的联合训练过程中,原人脸微表情图像和目标生成的顶点帧附近的人脸微表情图像来源于同一个受试者的视频帧序列。

3.根据权利要求1所述的一种基于生成对抗网络的微表情判别模型训练方法,其特征在于,生成器包括编码器、解码器、控制器;

编码器,用于将输入的视频帧序列转换为一个编码向量;

控制器,用于将相应维度噪声和相应维度增强标签作为控制项,添加至编码向量中作为控制项,以得到控制后编码向量;

解码器,用于将控制后编码向量转换为一个输出图像序列。

4.根据权利要求3所述的一种基于生成对抗网络的微表情判别模型训练方法,其特征在于,编码器包括5个依次连接的编码层,每一编码层均包括连接的conv_block单元层和最大池化层,conv_block单元层包括2个卷积层、2个批正则化层和2次Relu函数。

5.根据权利要求4所述的一种基于生成对抗网络的微表情判别模型训练方法,其特征在于,解码器包括与编码器中的5个编码层相对应的5个依次连接的解码层。

6.根据权利要求5所述的一种基于生成对抗网络的微表情判别模型训练方法,其特征在于,生成器还包括5个跳跃连接层,跳跃连接层将每个编码层连接到对应的解码层。

7.根据权利要求1所述的一种基于生成对抗网络的微表情判别模型训练方法,其特征在于,步骤S4中,对对抗网络模型进行联合训练的优化目标为:LMEEGAN=Ladv+τLpixel(G)+μLcls+el(D),其中,Ladv表示对抗损失函数,τ表示第二加权值,μ表示第三加权值。