利索能及
我要发布
收藏
专利号: 2024101057195
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种线性自注意力的轻量化人脸表情识别方法,其特征在于,包括以下步骤:步骤1、将人脸表情图像输入到表情识别网络中,经过3×3卷积后的初始特征分别馈送至全局线性自注意力模块和局部空间注意力模块中;

步骤2、全局线性自注意力模块通过捕获不同表情区域斑块的长距离依赖来获得全局表情特征;

步骤3、局部空间注意力模块通过MobileNext沙漏块以及池化操作来进行空间注意力加权,沙漏块执行身份映射和空间变换,经过沙漏块学习后的特征分别通过最大池化和平均池化操作获得表情重要区域的注意力分数,最后经过特征加权得到输出注意力特征图;

步骤4、将多阶段特征提取操作学习的全局与局部表情特征进行融合,最后经过通道注意力模块进行通道特征加权后输入到分类器进行表情分类;

所述步骤2具体包括:

B1、将输入的低级特征x展平为特征序列,经过线性映射生成3个不同的特征令牌矩阵Q,K,V;

B2、对于令牌矩阵Q,使用权重 的线性层将Q中的每个令牌L映射为标量;这个线性投影是一个内积运算,计算令牌L和x之间的距离,从而得到一个k维向量;然后对该k维向量使用Softmax函数以产生上下文分数B3、将上下文分数cs对输入令牌矩阵K进行加权,产生对全局信息进行编码的上下文注意力矩阵Z;

B4、最后,为了获得最终的全局特征,将经过深度卷积后的令牌矩阵V和上下文注意力矩阵Z进行哈达玛乘积得到最后的全局表情编码特征 线性自注意力计算公式如下:

其中,λ表示缩放因子,⊙表示哈达玛乘积,DWConv表示深度卷积操作;

所述D2的卷积核大小计算公式如下:

其中|t|odd表示最接近t的奇数,C表示输入特征通道数,γ表示特征权重,b表示偏置;

所述步骤4还包括:网络整体在鉴别损失Di‑Loss监督下进行,扩大类间距离并缩小类内距离,具体包括以下步骤:E1、分类损失函数softmax损失函数公式如下所示:

其中 表示属于第j类的第i个样本的特征, 表示第i个样本的权重矩阵,表示第j类的权重矩阵, bj表示偏置,N表示分类数量;

E2、加性角度间隔损失ArcFace将Softmax损失的偏置置为0,令其中θj是权重矩阵和特征之间的夹角;随后,通过L2将权重∥∥Wj∥∥归一化,将∥xi∥归一化为缩放因子s;同时,ArcFace在类内和类间的距离之间添加了一个附加的角边距惩罚,以同时增强类内紧凑性和类间差异性;ArcFace损失函数公式如下所示:E3、设计了鉴别损失函数Di‑Loss,该函数添加了一个基于L2范数的约束项以扩大表情间距离;DiLoss公式表示如下:其中,m为每一批次中的表情样本总数,N为表情类别总数,cj为第j个表情类样本的中心,pj为第j个表情类样本在批次m中所占的比例,μ为平衡参数。

2.根据权利要求1所述的一种线性自注意力的轻量化人脸表情识别方法,其特征在于,所述步骤1具体包括以下步骤:A1、将人脸表情图像,通过人脸检测对齐网络MTCNN检测出人脸关键点,并将人脸表情图像对齐,裁剪为224×224尺寸大小的输入图像I;

A2、将图像I输入到两个3×3卷积中提取图像初级特征,用x表示 将x分别馈送至全局线性自注意力模块和局部空间注意力模块,C、H、W分别表示图像通道数、高度及宽度。

3.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至2任一项所述线性自注意力的轻量化人脸表情识别方法。

4.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至2任一项所述线性自注意力的轻量化人脸表情识别方法。

5.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至2任一项所述线性自注意力的轻量化人脸表情识别方法。