1.一种基于全局特征与局部特征融合网络的情绪识别方法,其特征在于,包括:构建基于全局特征与局部特征融合网络GLFNet的情绪识别模型;所述情绪识别模型包括主干网络ResNet‑18、全局模块、局部模块、特征融合模块和全连接层FC;
所述全局模块包括多组由3x3卷积层和频率通道注意力模块FCA组成的分支,且前一组分支的输出与后一组分支的输入连接;
获取待识别的人脸图像,将待识别的人脸图像输入情绪识别模型,通过主干网络ResNet‑18提取人脸图像的中间特征图;通过全局模块对中间特征图进行全局特征提取,得到全局特征图;通过局部模块对中间特征图进行局部特征提取,得到局部特征图;
所述通过全局模块对中间特征图进行全局特征提取,包括:人脸图像的中间特征图沿通道维度分割成多个初始特征子集,将初始特征子集分别输入对应的分支;
对于序列中的第一个初始特征子集,输入由3x3卷积层和注意力模块组成的分支处理后传递至下一分支;
对于之后的每个分支,输入包括前一个分支输出的处理后特征子集和对应的初始特征子集;
将所有分支的输出按照分支处理顺序进行拼接,得到人脸图像的全局特征图;
通过特征融合模块将全局特征图和局部特征图进行融合,得到融合特征;并在中间特征和融合特征之间建立残差连接,得到最终融合特征,并将最终融合特征经过全连接层FC处理得到情绪识别结果。
2.如权利要求1所述的一种基于全局特征与局部特征融合网络的情绪识别方法,其特征在于,所述局部模块包括多组由3x3卷积层和频率通道注意力模块FCA组成的分支。
3.如权利要求2所述的一种基于全局特征与局部特征融合网络的情绪识别方法,其特征在于,所述通过局部模块对中间特征图进行局部特征提取,包括:人脸图像的中间特征图沿通道维度分割成四个不重叠的区域子集;
每个区域子集经过由3x3卷积层和频率通道注意力模块FCA组成的分支进行处理,得到各自的初始局部特征图;
将四个初始局部特征图按照分支处理顺序进行重叠,得到人脸图像的局部特征图。
4.如权利要求3所述的一种基于全局特征与局部特征融合网络的情绪识别方法,其特征在于,所述频率通道注意力模块FCA的处理过程包括:
3x3卷积层处理后的输入特征X沿着通道维度划分为多个部分子集,表示为;
为每个部分子集分配相应的二维DCT频率分量,二维DCT频率分量的运算结果作为部分子集的压缩结果,公式为: ;
;
;
;
其中, 为输入特征, 为 对应的频率分量二维指数, 为压缩后的向量,为全连接层, 为连接操作, 是频道注意力, 表示激活函数, 是新的输入特征;
通过全连接层对压缩结果进行处理,得到包含通道对应注意力权重的注意力权重图,并将输入特征的每个通道乘以对应位置的注意力权重,得到局部特征图。
5.如权利要求1所述的一种基于全局特征与局部特征融合网络的情绪识别方法,其特征在于,所述通过特征融合模块将全局特征图和局部特征图进行融合,包括:将提取的全局特征和局部特征进行总合,通过内容引导注意力机制计算全局特征和局部特征相应的权重;
对全局特征的权重和局部特征的权重进行处理,得到融合后的特征;
通过1×1的卷积层对融合后的特征进行整合,得到人脸图像的最终融合特征。
6.如权利要求5所述的一种基于全局特征与局部特征融合网络的情绪识别方法,其特征在于,所述通过内容引导注意力机制计算全局特征和局部特征相应的权重,包括:通过空间注意力机制和通道注意力机制分别计算输入特征在空间维度的注意力特征和通道维度的注意力特征 ,公式为:;
;
其中, 为空间维度的全局平均池化处理的特征, 为通道维度的全局平均池化处理的特征, 为通道维度的全局最大池化处理的特征, 表示连接操作, 为激活函数, 表示1×1卷积, 表示7×7卷积;
将空间维度的注意力特征 和通道维度的注意力特征 进行广播相加,得到初步的空间信息模块SIMs;
将输入特征和SIMs连接并通过通道洗牌操作Channel Shuffle以交替的方式重新排列特征,最后通过一个7×7群卷积层生成相对每一个通道的SIMs,公式为:;
;
其中, 表示输入特征, 表示连接操作, 表示通道洗牌操作, 表示具有7×7核大小的群卷积层, 表示激活函数;
将组数设置为通道数 ,得到全局特征和局部特征相应的权重。