利索能及
我要发布
收藏
专利号: 2022105874641
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于神经过程的自动微表情分类模型训练方法,其特征在于,具体包括如下步骤:S1、从训练数据集的微表情视频帧中抽取若干微表情图像,分别作为微表情图像节点,并将所述若干微表情图像节点分为若干上下文节点和若干目标节点;

S2、对所述微表情图像节点进行特征提取,得到若干微表情特征信息;

S3、将所述若干上下文节点的微表情特征信息和真实标签输入编码器,分别计算每个所述上下文节点的微表情特征信息的潜在特征信息,并对全部所述潜在特征信息聚合得到全局潜在变量;

S4、使用所述全局潜在变量在解码器中计算每个所述目标节点的微表情特征信息的表情预测标签;

S5、设定最大化证据下限及输出分布的正则化损失函数为联合优化目标,使所述联合优化目标最小化;

所述最大化证据下限的函数形式为:

其中,p(yT|xT,z)为在所述目标节点总集合T上的特征微表情特征信息为xT、潜在变量取样为z的情况下表情预测标签yT的取值概率,qΦ(z|C)为在所述上下文节点集合为C的情况下得到潜在表示取样为z的概率;

所述输出分布的正则化损失函数为:

其中,DKL(·||·)指两个分布的KL散度, 指所述目标节点取样数量为nt时所述目标节点的预测标签yt的平均正态分布,N(y,1)指目标节点的真实标签的正态分布形式。

2.如权利要求1所述的一种基于神经过程的自动微表情分类模型训练方法,其特征在于,所述步骤S3具体包括如下步骤:S31、使用多层感知机作为所述编码器,根据每个所述上下文节点的微表情特征信息和真实标签计算对应的潜在特征信息;

S32、对若干所述潜在特征信息求和取均值,得到全局潜在特征信息;

S33、使用潜在编码器将所述全局潜在特征信息参数化为高斯分布,将所述高斯分布作为所述全局潜在变量,所述全局潜在变量分布的任一取值为潜在表示。

3.如权利要求2所述的一种基于神经过程的自动微表情分类模型训练方法,其特征在于,所述步骤S31中特征表示向量的计算方法具体为:将所述真实标签通过一层线性层及一个ReLU激活函数转换为512维,与所述上下文节点的微表情特征信息结合,通过两层线性层及两次激活函数后得到所述特征表示向量。

4.如权利要求2所述的一种基于神经过程的自动微表情分类模型训练方法,其特征在于,所述步骤S33中全局潜在特征信息的参数化过程具体为:将所述全局潜在特征信息通过一层线性层及一个激活函数后,进入两个线性层,分别得到所述高斯分布的均值和标准差。

5.如权利要求1所述的一种基于神经过程的自动微表情分类模型训练方法,其特征在于,所述步骤S4具体包括如下步骤:S41、从所述全局潜在变量分布中随机取值得到潜在表示,将每个所述目标节点的微表情特征信息与一个潜在表示结合得到结合信息;

S42、使用多层感知机作为所述解码器,根据所述结合信息计算得到每个所述目标节点的表情预测标签所对应的均值和标准差;

S43、将所述均值作为所述目标节点的表情预测标签。

6.如权利要求5所述的一种基于神经过程的自动微表情分类模型训练方法,其特征在于,所述步骤S42中每个所述目标节点的表情预测标签所对应的均值和标准差的计算过程具体为:将所述结合信息通过三层线性层和激活函数,进入两个线性层,分别得到每个所述目标节点的表情预测标签所对应的均值和标准差。

7.如权利要求1所述的一种基于神经过程的自动微表情分类模型训练方法,其特征在于,所述步骤S2之前还包括步骤S20:S20、对所述微表情图像进行预处理操作,所述预处理操作包括人脸提取、人脸回正和图像缩放处理。