利索能及
我要发布
收藏
专利号: 2023106987514
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意机制和自蒸馏的面部表情识别方法,其特征在于包括如下步骤:S1.公共数据集拆分成为训练集、测试集和验证集,在训练集,测试集和验证集中均包含7种基本表情图像若干张;

S2.构建面部表情识别模型,该模型包含特征提取模块、自适应通道注意模块、重塑模块和自蒸馏网络;

S3.对模型输入的训练集、测试集和验证集的图像进行人脸对齐,并将其裁剪为固定的大小;对模型输入的训练集进行图像增强,用来防止模型过拟合;

S4.将拆分好的训练集图像输入到构建好的面部表情识别模型中,对模型中可学习的参数进行训练和优化,直至训练到模型的准确度没有提升为止,具体训练过程包含以下子步骤:S41.将处理好的图像输入到特征提取模块中,将特征提取模块中每个基本块的输出特征图zj作为特征提取模块每个阶段输出的特征;

S42.在每个基本块输出的特征图后面添加了自适应通道注意模块,在该模块中,首先利用最大池化和平均池化来对每个基本块输出的特征图zj的通道信息进行聚合,生成2个不同的通道向量qmax,qavg;其次,利用自适应权重模块为qmax,qavg生成对应的权重wmax,wavg;

然后,将qmax和wmax相乘后的特征与qavg和wavg相乘后的特征进行相加融合,得到最后的通道权重特征fcw;最后,将得到的fcw与输入特征图zj相乘得到最后的输出特征图 其计算公式为:qmax=MaxPool(zj),

qavg=AvgPool(zj),

wmax=Wm1(σ(Wm0(qmax))),

wavg=Wa1(σ(Wa0(qavg))),

fcw=σ(MLP(qmax)*wmax+MLP(qavg)*wavg),S43.利用重塑模块进一步提炼浅层基本块输出的特征并将每个基本块输出的特征最终映射到同一尺寸维度上得到 其计算公式为:S44.利用全连接层和softmax函数来计算每个Fj对应的预测分数fj,其计算公式为:S45.通过自蒸馏网络以及相应的蒸馏损失来对模型由深到浅逐步进行知识蒸馏;

S5.对测试集和验证集中的图像进行推理,在推理阶段,移除自蒸馏以及注意模块,只用在训练阶段训练好的特征提取模块来对输入进行最终的预测,将处理好的训练集和测试集图像输入到模型中,得到相应的分类结果,结果为厌恶,快乐,生气,害怕,惊讶,悲伤,中性这7种基本表情中的一种。

2.根据权利要求1所述的一种基于注意机制和自蒸馏的面部表情识别方法,其特征在于,所述自蒸馏的形式为除最后一个基本块外,每个基本块都从它的下一个基本块中提炼知识,在自蒸馏时,由深到浅逐步进行蒸馏。

3.根据权利要求2所述的一种基于注意机制和自蒸馏的面部表情识别方法,其特征在于步骤S45.中,包括以下子步骤:S451.利用交叉熵损失来衡量最后一个基本块输出的预测分数与训练集真实标签之间的差异,其计算公式为:Lce=CrossEntropyLoss(fc,y).

S452.利用KL散度损失来衡量当前基本块得到的预测分数与它的下一个基本块得到的预测分数之间的差异,其计算公式为:S453.利用L2损失用来衡量当前基本块输出的特征与它的下一个基本块输出特征之间的差异,其计算公式为:S454.最后,总的损失由以上三种损失共同组成,其计算公式为:Ltotal=Lce+αLkl+βL2.。

4.根据权利要求1所述的一种基于注意机制和自蒸馏的面部表情识别方法,其特征在于,所述自适应通道注意模块由通道注意模块和自适应权重模块构成;

所述通道注意模块,作用在平均池化特征和最大池化特征上,使用注意力机制来判断各个通道的重要性,并根据各个通道的重要性对每个通道进行加权;所述自适应权重模块,作用在平均池化特征和最大池化特征上,使用注意机制来判断平均池化特征和最大池化特征的重要性,并生成对应的权重。