利索能及
我要发布
收藏
专利号: 2020108721278
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种特定目标的情感极性分类方法,其特征在于,包括步骤:获取上下文对应的词向量;其中,所述上下文包括至少一个特定目标,所述特定目标包括至少一个单词;

将所述上下文对应的词向量输入预设隐藏信息提取网络模型,提取所述上下文对应的隐藏状态向量;

对所述上下文对应的隐藏状态向量进行多头自注意力编码,得到上下文语义信息编码;

基于结合门控机制的预设图卷积神经网络,提取所述上下文对应的句法向量;

通过所述特定目标对应的权重向量,对所述句法向量进行筛选,得到与所述特定目标相关的上下文句法信息编码;

对所述上下文语义信息编码和上下文句法信息编码进行拼接,将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码,得到上下文语义句法信息编码;

将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接,得到所述特定目标的特征表示;

将所述特定目标的特征表示输入预设情感极性分类函数中,得到所述特定目标的情感极性分类概率。

2.根据权利要求1所述的特定目标的情感极性分类方法,其特征在于,所述将所述上下文对应的词向量输入预设隐藏信息提取网络模型,提取所述上下文对应的隐藏状态向量,包括步骤:

将所述上下文对应的词向量 输入预设隐藏信息提取网络模型中,通过所述预设隐藏信息提取网络模型得到上下文对应的隐藏状态向量的过程如下:其中,n表示上下文对应的词向量的维度, 表示预设隐藏信息提取网络模型中c

的正向运算过程, 表示预设隐藏信息提取网络模型中的反向运算过程,H表示上下文对应的隐藏状态向量。

3.根据权利要求1所述特定目标的情感极性分类方法,其特征在于,所述对所述上下文对应的隐藏状态向量进行多头自注意力编码,得到上下文语义信息编码,包括步骤:c

将所述上下文对应的隐藏状态向量H输入预设多头注意力编码公式,得到上下文语义cs

信息编码H ;其中,预设多头注意力编码公式如下:cs c c

H =MHA(H ,H)

h h

o=Attention(k,q)Attention(k,q)=softmax(fs(k,q))kfs(ki,qj)=tanh([ki;qj]·Watt)fs(ki,qj)表示多头注意力的第一输入向量k={k1,k2,...,kn}与多头注意力的第二输入向量q={q1,q2,...,qm}的语义相关性,n表示第一输入向量的维度,m表示第二输入向量的维度;当进行多头自注意力编码时k=q,当进行多头交互注意力编码时k≠q,“;”是指向量的拼接, 是可学习的权重, 表示1行2dhid列的矩阵,dhid表示隐藏状态向h h

量的维度,softmax()表示归一化指数函数,Attention (k,q)和o表示多头注意力中的第hh

头输出结果,h∈[1,nhead],nhead表示多头注意力的最大头数; 表示对o进行c c c c

线性变化的dhid行dhid列的矩阵,MHA(H ,H)表示MHA(k,q)中第一输入向量k为H ,q为H ,k=c c c

q,MHA(H ,H)进行H的多头自注意力编码, dh表示多头注意力编码输出的向量维度。

4.根据权利要求1所述特定目标的情感极性分类方法,其特征在于,所述基于结合门控机制的预设图卷积神经网络,提取所述上下文对应的句法向量,包括步骤:获取所述上下文中的单词对应的邻接矩阵;其中,所述邻接矩阵反应所述上下文中的单词的邻接关系;

根据所述特定目标在所述上下文中的位置和预设的位置权重分配函数,得到上下文中每个所述单词对应的位置权重;

将所述邻接矩阵和所述每个单词对应的位置权重输入结合门控机制的预设图卷积神经网络,提取所述上下文对应的句法向量。

5.根据权利要求4所述的特定目标的情感极性分类方法,其特征在于,所述根据所述特定目标在所述上下文中的位置和预设的位置权重分配函数,得到上下文中每个所述单词对应的位置权重,包括步骤:

根据所述特定目标在上下文中的位置和位置权重分配函数,得到上下文中每个单词对应的位置权重;其中,所述位置权重分配函数F(·)如下:τ+1表示特定目标的起始位置,m表示特定目标中单词的个数,n表示上下文中单词的个数,qi表示上下文中第i个单词的位置权重。

6.根据权利要求4所述的特定目标的情感极性分类方法,其特征在于,所述将所述邻接矩阵和所述每个单词对应的位置权重输入结合门控机制的预设图卷积神经网络,提取所述上下文对应的句法向量,包括步骤:根据所述邻接矩阵、每个所述单词的位置权重、上一层的第二输出结果以及预设图卷积运算公式,得到当前层的第一输出结果;其中,所述预设图卷积运算公式如下:n×n

Aij表示邻接矩阵的第i行第j列的值,A∈R 表示邻接矩阵A为n行n列的矩阵,qj表示上下文中第j个单词的位置权重, 表示l‑1层中第j个单词的第二输出结果, 表示第j个单词的位置权重与第j个单词的第二输出结果的乘积, 表示第l层中第i个单词的中间输l

出, 表示第l层中第i个单词的第一输出结果,di表示第i个单词在句法依存树中的深度,Wl

表示权重,偏执b表示偏执,ReLU()表示激活函数;

根据所述当前层的第一输出结果以及预设门机制运算公式,得到当前层的第二输出结果;其中,所述预设的门机制预算公式如下;

表示第l层中第i个单词的第一输出结果, 表示第l层中第i个单词的中间输出, 代表向量拼接操作, 表示门机制的可学习权重,σ代表激活函数ReLu(), 表示经过门机制得到的阈值,φ表示非线性函数,⊙代表向量的点积, 表示l层中第j个单词的第二输出结果;

将所述当前层的第二输出结果输入至所述结合门控机制的预设图卷积神经网络的下一层中,直至得到所述结合门控机制的预设图卷积神经网络的输出层的第二输出结果;其中,所述输出层的第二输出结果为所述上下文对应的句法向量。

7.根据权利要求1所述的特定目标的情感极性分类方法,其特征在于,所述通过所述特定目标对应的权重向量,对所述句法向量进行筛选,得到与所述特定目标相关的上下文句法信息编码,包括步骤:

根据所述特定目标的中心在所述上下文中的位置、各个单词在所述上下文中的位置、所述特定目标的长度以及预设权重向量运算公式,得到所述特定目标对应的权重向量;其中,所述预设权重向量运算公式如下:SRD SRD SRD SRDM=[V0 ,V1 ,V2 ,...,Vn ]Pi表示第i个单词在所述上下文中的位置,Pt表示特定目标在所述上下文中的位置,a表示特定目标的长度,|Pi‑Pt|表示第i个单词与特定目标在所述上下文中的距离, 表示 倍的特定目标的长度,SRDi表示第i个单词与特定目标在所述上下文中的距离与 倍的特定目SRD

标的长度之间的差值,Vi 表示特定目标中第i个单词对应的权重向量,β代表SRD的阈值,n代表单词的数量,E为预设向量,M为特定目标对应的权重向量;

将所述特定目标对应的权重向量与所述句法向量叉乘,得到与所述特定目标相关的上LS

下文句法信息编码U 。

8.根据权利要求3所述的特定目标的情感极性分类方法,其特征在于,对所述上下文语义信息编码和上下文句法信息编码进行拼接,将拼接后的所述上下文语义信息编码和上下文句法信息编码进行多头自注意力编码,得到上下文语义句法信息编码,包括步骤:cs LS

对所述上下文语义信息编码H 和上下文句法信息编码U 进行拼接,得到拼接后的编码Z;

S

将所述拼接后的编码Z进行多头自注意力编码,得到所述上下文语义句法信息编码Z ;

S

其中,Z=MHA(Z,Z)。

9.根据权利要求1所述的特定目标的情感极性分类方法,其特征在于,所述将所述上下文语义信息编码和上下文语义句法信息编码取平均池化后再进行拼接,得到所述特定目标的特征表示,包括步骤:

cs S

根据所述上下文语义信息编码H 、上下文语义句法信息编码Z输入预设平均池化计算公式,得到平池化后的结果拼接,得到所述特定目标对应的特征表示 其中,预设平均池化计算公式如下:

表示上下文中第i单词的语义信息编码,i表示单词的下标,n表示上下文中单词的个数, 表示上下文语义信息编码的平均池化结果, 表示上下文中第i个单词的语义句法信息编码, 表示上下文语义句法信息编码的平均池化结果,特征表示代表向量拼接操作。

10.根据权利要求1所述的特定目标的情感极性分类方法,其特征在于,所述根据所述特征表示和预设归一化指数函数,得到特定目标的情感分类结果,包括步骤:根据所述特征表示和预设转换公式,得到所述特征表示的转换结果;其中,所述预设转换公式如下:

c

表示特征表示, 和bo∈R分别是可学习的权重和偏置项;

根据所述特征表示的转换结果和预设情感极性分类函数中,得到所述特定目标的情感极性分类概率;其中,所述预设转换公式和预设情感极性分类函数如下:c

x表示特征表示的转换结果,y∈R是特定目标的情感极性分类概率,c表示分类的类别,k表示用于累加的计数下标。