利索能及
我要发布
收藏
专利号: 2022102224162
申请人: 桂林旅游学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-09-11
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于BERT神经网络与多语义学习的方面级情感分析方法,其特征在于包括以下步骤:S1.将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列,并将左序列、右序列和全局序列分别输入到一个参数共享的BERT神经网络模型中进行处理,得到相应的左语义、右语义和全局语义的隐藏表示,以及将方面目标序列输入到一个参数独立的BERT模型中进行处理,得到方面目标语义的隐藏表示;

S2.对方面目标语义的隐藏表示进行平均池化处理,得到平均方面语义向量,并将平均方面语义向量与左语义、右语义和全局语义中的每一个隐藏状态相连接,并分别在左语义、右语义和全局语义上通过线性变换和多头注意力合并处理,得到方面感知增强的左语义、右语义和全局语义表示;

S3.使用基于线性变换和多头注意力的二级语义融合,将方面感知增强的左语义、右语义和全局语义进行合并,得到最终的综合语义表示;

S4.对综合语义表示进行平均池化,得到评语句子的最终情感表示,并将评语的最终情感表示通过线性变换计算评语在所有情感极性上的预测得分和概率,根据概率的高低确定评语句子关于指定方面目标的情感极性;

所述BERT神经网络是指Google AI Language提出的Bidirectional  Encoder Representations from Transformers(BERT)语言模型。

2.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法,其特征在于:所述步骤S1具体包括:

S1.1以方面目标词为中心将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列,并以BERT的分类符[CLS]作为开始符号、以BERT的分离符[SEP]作为分隔符和结束符形成输入表示;

g

其中,全局序列s 的结构为:“[CLS]+评语句子+[SEP]+方面目标词+[SEP]”,且dw为BERT神经网络模型中字词编码的维度,n为全局序列的字词长度,所述“字l词”是指文本经Bert的分词器Tokenzier分离出的语言片段;左序列s 为位于方面目标词左侧且包含方面目标词在内的评语字词子序列,并且根据全局序列的长度,在右侧补充多个r结束符[SEP],使得左序列的字词长度与全局序列的字词长度相等,即 右序列s为位于方面目标词右侧且包含方面目标词在内的评语字词子序列,并且根据评语句子的字词长度,在左侧补充多个分类符[CLS],使得右序列的字词长度与评语句子的字词长度相等,然后再根据全局序列的长度,在右侧补充多个结束符[SEP],使得右序列的字词长度与t全局序列的字词长度相等,即 方面目标序列s的结构为:“[CLS]+方面目标词+[SEP]”,且 m为方面目标序列的字词长度;

l r g

S1.2将左序列s、右序列s、全局序列s 分别输入到一个参数共享的BERT模型进行学习l r g和编码,得到左语义、右语义和全局语义的隐藏表示H、H和H,计算过程如下:其中,sharedBERT(·)表示一个参数共享的BERT模型,d是BERT模型中隐藏单元的数量;

t

S1.3将方面目标序列s输入到一个参数独立的BERT模型进行学习和编码,得到方面目t标的隐藏表示H,计算过程如下;

其中,indieBERT(·)表示一个参数独立的BERT模型。

3.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法,其特征在于:所述步骤S2具体包括:

t

S2.1对方面目标语义的隐藏表示H使用平均池化操作,生成平均方面语义向量 计算过程如下:其中,avePooling(·)表示平均池化操作, 表示 中的第i个元素,计算过程如下:其中,Average(·)表示求平均值的函数, 表示 中第i行、第j列的元素;

S2.2计算方面感知增强的全局语义表示 过程如下:g

(1)将平均方面语义向量 与全局语义的隐藏表示H中的每一个隐藏状态相连接,得到gt与方面目标相连的全局语义表示H ,计算过程如下:其中,[X1:X2]表示矩阵X1, 按行拼接, 是一个有着n个1的向量,是一个将 重复n次的线性变换,[;]表示连接操作;

gt

(2)通过一个线性变换层,将与方面目标相连的全局语义表示H 进行浓缩,得到与方面目标相融的全局语义表示 计算过程如下:其中, 是线性变换层中的权重矩阵, 是线性变换层中的偏置向量;

(3)使用一个多头注意力共同关注 中不同位置的信息,得到方面感知增强的全局语义表示 计算过程如下:其中, 表示输入 的多头注意力MHA(Q,K,V),多头注意力MHA(Q,K,V)的计算过程如下:R

MHA(Q,K,V)=tanh([head1;head2;...;headh]w)              (10)Q K Vheadi=Attention(Qi,Ki,Vi)=Attention(Qw ,Kw ,Vw)           (11)其中, 是多头注意力的三个输入,headi表示多头注意力中的第i个头,tanh(·)表示双曲正切函数, 是可学习的参数矩阵,dK=dV=d÷h,h是多头注意力中头的数量,上标T表示矩阵的转置操作;

l r g

S2.3分别使用H和H 代替H ,重复步骤S2.2中的(1)、(2)、(3)步,得到方面感知增强的左语义表示 和方面感知增强的左语义表示

4.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法,其特征在于:所述步骤S3具体包括:

S3.1组合左语义 和右语义 得到合并的局部语义 计算过程如下:其中,公式(13)表示将 和 按行列拼接,公式(14)表示一个线性变换层的计算过程,公式(15)表示输入 的多头注意力MHA(Q,K,V)的调用, 是线性lrt

变换层中的权重矩阵, 是线性变换层中的偏置向量,H 是左语义 和右语义lrt的连接表示, 是将H 通过线性就换后的浓缩表示;

S3.2组合合并的局部语义 和全局语义 得到最终的综合语义表示 计算过程如下:

其中,公式(16)表示将 和 按行拼接,公式(17)表示一个线性变换层的计算过程,公式(18)表示输入 的多头注意力MHA(Q,K,V)的调用, 是线性lrgt

变换层中的权重矩阵, 是线性变换层中的偏置向量,H 是合并的局部语义lrgt和全局语义 的连接表示, 是将H 通过线性就换后的浓缩表示。

5.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法,其特征在于:所述步骤S4具体包括:

S4.1对综合语义表示 执行一个平均池化操作,得到评语句子的最终情感表示Z,计算过程如下:其中,zi表示Z中的第i个元素,计算过程如下:其中, 表示 中第i行、第j列的元素;

S4.2评语句子的最终情感表示Z被输入到一个执行softmax(·)的线性变换层,进行情感极性的概率计算,并得出最终的情感极性,计算过程如下:T

o=MZ+b                                (21)T

其中, 是情感极性的表示矩阵,Z表示对Z进行转置, 是一个偏置向量,dk是情感极性类别的个数,Y是情感极性类别的集合,y是一个情感极性, 是表示所有情感极性置信分数的向量,p(y|Z,θ)表示给定评语句子的最终情感表示Z在情感极性y*上的预测概率,y 为最终评定的情感极性, 表示返回使得P(y|Z,θ)为最大值的情感极性,θ是所有可学习的参数集合,exp(·)表示以e为底的指数函数。

6.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法,其特征在于:所述BERT神经网络的损失函数采用如下的交叉熵损失误差:其中,Ω是方面级情感分类任务的训练句子的集合,|Ω|表示集合Ω的大小,yi是Ω中第i个训练句子的情感极性标签,Zi是Ω中第i个训练句子的情感表示。

训练目标是按公式(24)最小化Ω中所有训练句子的交叉熵损失误差。