1.一种基于BERT模型的带权消极监督文本情感分析方法,其特征在于:它包括如下步骤:
S1、收集文本情感分类数据集,对数据集进行清洗、分割预处理并建立训练集、测试集;
S2、建立多任务学习情感分类模型,使用BERT作为文本编码器;
S3、将分割得到的训练集输入到步骤S2建立的多任务学习情感分类模型中进行训练,多任务学习情感分类模型在经过训练集的训练后拥有文本情感分类能力;
S4、将测试集输入到经步骤S3训练好的多任务学习情感分类模型中进行预测分类,并根据预测结果对模型进行评估。
2.如权利要求1所述的基于BERT模型的带权消极监督文本情感分析方法,其特征在于:步骤S1中,在建立训练集、测试集的同时建立验证集。
3.如权利要求1所述的基于BERT模型的带权消极监督文本情感分析方法,其特征在于:步骤S1中,对英文数据集进行清洗、分割预处理前需进行大小写转换操作。
4.如权利要求1所述的基于BERT模型的带权消极监督文本情感分析方法,其特征在于:步骤S2中,建立多任务学习情感分类模型包括建立一个主任务和建立一个消极监督任务;
所述主任务用来训练一个常规分类器,在使用BERT得到训练样本的表征向量后,将其输入一个全连接层得到模型的预测向量,再将预测向量的预测值与目标值进行比对并使用损失函数计算损失值。
5.如权利要求4所述的基于BERT模型的带权消极监督文本情感分析方法,其特征在于:在主任务中,使用交叉熵函数作为损失函数,如式(1):其中,M为类别的数量;yic为指示变量,若样本i的预测类别和真实类别相同该值为1,否则为0;pic为样本i属于类别c的概率。
6.如权利要求5所述的基于BERT模型的带权消极监督文本情感分析方法,其特征在于:步骤S2中,建立消极监督任务时,将消极监督的位置从编码器层移动到分类器层并让分类器层学习不同标签之间的差异信息,包括如下步骤:S21:为消极监督机制引入了权重W来区分该差异程度信息;
S22:将分类器层预测向量l按批次输入到消极监督任务,遍历批次中的样本并找到所有的负面样本对;
S23:然后使用下式计算消极监督任务的损失函数值:其中,lk,li为消极监督任务遍历找到的一对负面样本,函数cossim能够计算lk和li之间的余弦距离,Wk,i是消极监督任务中引入的权重,表示样本i,k对应标签之间的差异程度,Wk,i的值由下式确定:
Wk,i=α·dis(labelk,labeli) 式(3)在上式(3)中,函数dis计算标签间的距离并只需简单地做减法运算;α是系数,表达消极监督任务的损失函数在总损失中的重要程度。
S23:通过式(1)、式(2)、式(3)等式计算得到Lm和Ln后,将它们的和作为总损失沿着多任务学习情感分类模型传递到每一层并更新参数并计算总损失L;
L=Lm+Ln 式(4)
7.如权利要求1所述的基于BERT模型的带权消极监督文本情感分析方法,其特征在于:步骤S3中,包括如下步骤:
S31:将训练集按照预先设置的mini批次大小划分为若干个批次;
S32:在各个批次的每个句子前面加上一个无意义的符号[CLS];
S33:将增加无意义符号[CLS]的每个句子输入到步骤S2建立的多任务学习情感分类模型中;
S33:经BERT处理后得到由句子的表征向量组成的矩阵;
S34:将[CLS]对应的向量输入到分类器层继续训练。
8.如权利要求1所述的基于BERT模型的带权消极监督文本情感分析方法,其特征在于:步骤S4中,使用测试集的样本测试经步骤S3训练好的多任务学习情感分类模型的性能,并使用准确率p进行评判:
式(5)中,分子为预测值与实际值相同的样本个数,分母为测试集样本的总数量,分式的值p即为模型的准确率。