1.基于深度胶囊网络的人脸表情识别方法,其特征在于,包括:将从面部的原始图像和所述原始图像的局部二值模式LBP图像提取的特征融合;
基于注意力机制,将融合的特征加权到从所述原始图像提取的特征中;
将经过加权处理得到的特征输入胶囊网络,得到面部的表情分类;
所述将从面部的原始图像和所述原始图像的局部二值模式LBP图像提取的特征融合,具体包括:通过第一卷积神经网络提取面部的原始图像的特征并进行池化处理,得到输入特征图;
通过所述第一卷积神经网络提取所述原始图像的LBP图像的特征并进行池化处理,得到第一LBP特征图;
通过第二卷积神经网络将所述输入特征图和第一LBP特征图进行融合,得到第二LBP特征图;
其中,所述第一卷积神经网络和第二卷积神经网络均由三组卷积核、归一化层和激活函数组成;
所述基于注意力机制,将融合的特征加权到原始图像提取的特征中,具体包括:将所述第二LBP特征图通过激活函数处理后与所述输入特征图相乘。
2.根据权利要求1所述的方法,其特征在于,所述将所述第二LBP特征图通过激活函数处理,具体包括:将所述第二LBP特征按照以下公式进行处理:Fm=σ(Wfm+b)
式中,fm为第二LBP特征图,W和b分别是卷积层的权重和偏差,σ表示激活函数Softmax,目的是给所述第二LBP特征图分配(0,1)以内不同的权值,使得网络区分不同特征的重要性。
3.根据权利要求1所述的方法,其特征在于,所述胶囊网络的损失函数L的表达式如下:L=Lc+Le
其中,Lc表示类别c的损失,其表达式如下:+ 2 ‑ 2
Lc=Tcmax(0,m‑||vc||) +λ(1‑Tc)max(0,||vc||‑m)式中,Tc表示判定指标,若类别c存在,则为1,反之为0;
式中,α表示一个阈值,θ表示余弦函数在式中的最大定义域,m表示Le的最大取值,Lr为重建损失,采用均方损失函数,Lr的表达式如下:2
Lr=(xr‑x)
式中,xr和x分别表示胶囊网络输出的重建图像和原始图像。
4.基于深度胶囊网络的人脸表情识别装置,其特征在于,包括:特征融合模块,用于将从面部的原始图像和所述原始图像的局部二值模式LBP图像提取的特征融合;
注意力模块,用于基于注意力机制,将融合的特征加权到从所述原始图像提取的特征中;
胶囊网络模块,用于将经过加权处理得到的特征输入胶囊网络,得到面部的表情分类;
所述特征融合模块,具体包括:
第一特征提取单元,用于通过第一卷积神经网络提取面部的原始图像的特征并进行池化处理,得到输入特征图;
第二特征提取单元,用于通过所述第一卷积神经网络提取所述原始图像的LBP图像的特征并进行池化处理,得到第一LBP特征图;
特征融合单元,用于通过第二卷积神经网络将所述输入特征图和第一LBP特征图进行融合,得到第二LBP特征图;
其中,所述第一卷积神经网络和第二卷积神经网络均由三组卷积核、归一化层和激活函数组成;
所述注意力模块,具体用于将所述第二LBP特征图通过激活函数处理后与所述输入特征图相乘。
5.一种终端设备,其特征在于,包括:处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1‑3中任一项所述的方法。
6.一种非暂时性机器可读存储介质,其上存储有可执行代码,其特征在于,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1‑3中任一项所述的方法。