1.一种基于注意力遮挡机制的表情识别方法,是将待识别图像输入至经过微调训练的网络模型中进行识别,其特征在于所述经过微调训练的网络模型依次按照如下步骤构建而成:步骤1:图像预处理
将数据集图像分为训练集及测试集,对训练集图像进行增广处理,得到增广训练集;
步骤2:建立网络模型并初始化,所述网络模型由四组交替设置的残差层和注意力层、记事本亲和字典及全连接层构成;
步骤3:将增广训练集图像Expression_ Patches输入至网络模型中进行训练步骤3.1约定变量epoch为网络模型循环训练次数,初始为0;
步骤3.2将图像Expression_ Patches依次输入至四组交替设置的残差层和注意力层,每组按照如下步骤进行:步骤3.2.1输入图像进入残差层:首先将图像依次通过一个3*3大小的滤波器卷积层conv1、批量归一化BN1、激活层relu1、3*3大小的滤波器卷积层conv2、批量归一化层BN2,将处理结果和图像数据做残差连接,最终过激活层relu2,得到图像特征向量I1;
步骤3.2.2输入图像特征向量I1进入注意力层:首先将图像特征向量I1通过通道注意模块,得到图像特征向量I2,然后将图像特征向量I2与图像特征向量I1做残差连接后过激活函数层relu3,得到图像特征向量I3,再将图像特征向量I3通过空间注意模块,得到图像特征向量I4,将图像特征向量I4与图像特征向量I3做残差连接后,过激活函数层relu4,得到图像特征向量I5;
步骤3.3输入各层网络得到的图像特征向量进入全连接层,得到分类类别,所述分类类别用数字表示;
步骤3.4将步骤3.2所得到的图像特征向量保存至记事本亲和字典中,计算所有图像特征向量维度之间的记事本亲和损失,并将记事本亲和损失除以图像特征向量之间的方差,其商记为la;
步骤3.5采用L1 Loss计算方法求取全连接层的输出结果和数据集相应标签的交叉熵损失lc,置epoch =epoch +1,当epoch 达到设定次数,网络停止训练,保存训练模型model.pt文件并进入步骤4,否则将loss=lc+la值反向传播,通过ADAM优化算法更新参数,进入步骤3.1,循环重复训练;
步骤4:将增广训练集图像Expression_ Patches输入至训练模型model.pt中,得到生成注意力部分图像并对生成的注意力部分进行遮挡处理,形成遮挡注意力部分图像,以遮挡注意力部分图像及相应标签形成新的数据对,构成新的训练集;
步骤5:将新的训练集图像输入至网络模型中进行训练
步骤5.1约定变量epoch为网络模型Model循环训练的次数,初始为0;
步骤5.2 将新的训练集图像依次输入至四组交替设置的残差层和注意力层,每组按照如下步骤进行:步骤5.3.1输入图像进入残差层:首先将图像依次通过一个3*3大小的滤波器卷积层conv1、批量归一化BN1、激活层relu1、3*3大小的滤波器卷积层conv2、批量归一化层BN2,将处理结果和图像数据做残差连接,最终过激活层relu2,得到图像特征向量I1';
步骤5.3.2输入图像特征向量I1'进入注意力层:首先将图像特征向量I1'通过通道注意模块,得到图像特征向量I2',然后将图像特征向量I2'与图像特征向量I1'做残差连接后过激活函数层relu3,得到图像特征向量I3',再将图像特征向量I3'通过空间注意模块,得到图像特征向量I4',将图像特征向量I4与图像特征向量I3'做残差连接后,过激活函数层relu4,得到图像特征向量I5';
步骤5.3.3输入各层网络得到的图像特征向量进入全连接层,得到最终分类类别Classification,所述最终分类类别Classification用数字表示;
步骤5.4:通过L1 Loss计算方法求取最终分类类别Classification和数据对中相应标签的交叉熵损失CrossEntropyLoss,记为loss,置epoch =epoch +1,当epoch 达到设定次数,网络停止训练,并保存训练模型model.pt'文件,即得到经过微调训练的网络模型,否则将loss值反向传播,通过ADAM优化算法更新参数,进入步骤5.1,循环重复训练。