1.结合情感类别注意力损失的卷积神经网络情感图像分类方法,其特征在于,包含如下步骤:
步骤1,建立图像的情感类别权重向量:将数据集中每一类的图像视为一维,得到情感类别权重向量W;
步骤2,建立深度网络模型:选择深度网络模型ResNet‑101,使用ResNet‑101为基础骨干网络,并以待分类类别数作为输出向量维度替换原模型最后的分类层,以生成情感类别;
步骤3,损失函数设计:为了利用图像的情感类别权重信息,解决异类样本比例不均衡和类间类内距离收束的问题,损失函数包括对类间距离和类内距离的计算以及不同情感类别权重比例的考量;
步骤4,训练模型:将图像经过预处理后,输入到网络模型中,使用随机梯度下降方法进行优化,对模型参数进行学习;
步骤5,获得待测图像的情感类别:将数据库中的图像经过同步骤4一样的预处理步骤后,输入到步骤4训练好的模型中,得到对应的情感类别。
2.根据权利要求1所述的方法,其特征在于:在所述步骤1中,建立图像的情感类别权重的具体方法为:将情感类别数为N的图像训练集中的同一类别图像视为一个维度Ci,i=1,
2,…,N;计算统计不同维度中样本数量ni,i=1,2,…,N;通过计算获得各类别权重,合并形成权重向量W=[w1,w2,…,wN],各wi计算方式如下:
3.根据权利要求2所述的方法,其特征在于:在所述步骤3中,损失函数包含两项损失,情感类别注意力中心损失和交叉熵损失;
4.1情感类别注意力中心损失
情感类别注意力中心损失特别增加了权重部分来降低由于样本类别不均衡带来的影响;具体损失函数如下:
其中m为训练时每批次的图像数量,W为得到的权重向量,fi为图像经过基础骨干网络在分类层之前得到的特征,Cyi为类别为yi时的特征中心,特征中心即为当前批次下同类别图像得到的特征在各个维度中的均值组成的特征向量;
4.2交叉熵损失
使用交叉熵损失来进行基本的损失度量,其目的在于保持类间距离;构建的交叉熵损失用于让不同情感类别之间的图像更远;具体损失函数如下:其中m为训练时每批次的图像数量,N为数据集情感类别的数量,xi为该批次中第i张图片从ResNet‑101基础骨干网络在分类层之前得到的特征,w和b即为分类层中的权重和偏置参数值,下标yi和j表示为分类层之后类别, 表示该批次第i张图片判断为yi类别时在分类层中的偏置参数的值;
总损失函数为:
其中,α为量化损失函数的超参数,设置为0.6。
4.根据权利要求1所述的方法,其特征在于:将待训练图片进行随机中心裁剪和随机水平翻转的方式进行数据预处理,利用随机梯度下降的方式对模型进行训练,保存训练好的模型。