利索能及
我要发布
收藏
专利号: 2021105351023
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种情感分析方法,其特征在于,包括:获取待进行情感分析的句子的词向量,将所述词向量输入至双向LSTM网络,得到所述词向量对应的隐藏状态向量;

获取所述句子对应的依存句法树,将所述依存句法树转换为句法图;

将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型,获得所述句子的句法信息;

将所述隐藏状态向量输入至多头自注意力机制模型,获得语义图,并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型,获得所述句子的语义信息;

将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型,获得所述句法图和所述语义图之间的公共信息;其中,将所述隐藏状态向量和所述句法图输入至共享图卷积神经网络模型,得到所述句法图的公共信息;

将所述隐藏状态向量和所述语义图输入至共享图卷积神经网络模型,得到所述语义图的公共信息;

将所述句法图的公共信息和所述语义图的公共信息输入组合运算公式,得到所述句法图和所述语义图之间的公共信息;

其中,所述得到所述句法图的公共信息公式如下:c

其中,Asy表示所述句法图的邻接矩阵,H 表示所述隐藏状态向量,Wc表示所述共享图卷积神经网络模型可学习的参数矩阵, 表示所述句法图的公共信息,SYGCN表示根据所述句法图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的句法图卷积模块;

其中,所述得到所述语义图的公共信息公式如下:c

其中,Ase表示所述语义图的邻接矩阵,H 表示所述隐藏状态向量, 表示所述语义图的公共信息,SEGCN表示根据所述语义图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的语义图卷积模块;

其中,所述组合运算公式如下:

其中,α和β是可学习的参数矩阵, 表示所述句法图和所述语义图之间的公共信息;

将所述句法信息、所述语义信息和所述公共信息输入至掩码模型,并取平均池化后,得到特定目标信息,对所述特定目标信息拼接融合,得到特定目标的特征表达;

将所述特征表达输入至全连接网络进行概率计算,得到所述特定目标的情感分析结果。

2.根据权利要求1所述的情感分析方法,其特征在于,所述获取待进行情感分析的句子的词向量,将所述词向量输入至双向LSTM网络,得到所述词向量对应的隐藏状态向量的步骤包括:

根据GloVe词嵌入模型,将所述待进行情感分析的句子中每个单词转换为词向量;

将所述词向量输入至双向LSTM网络,得到所述词向量对应的隐藏状态向量;其中,所述隐藏状态向量表示如下:

其中,n表示所述待进行情感分析的句子对应的词向量的个数,m表示所述待进行情感c

分析的句子中特定目标对应的词向量的个数,H 表示所述隐藏状态向量, 表示向前方向编码的隐藏状态向量, 表示向后方向编码的隐藏状态向量,c是所述待进行情感分析的句子的上标表示,τ是所述待进行情感分析的句子中特定目标的下标表示,τ+1表示所述待进行情感分析的句子中第1个特定目标的下标表示,τ+m表示所述待进行情感分析的句子中第m个特定目标的下标表示, 表示每个所述词向量对应的向前方向编码的隐藏状态向量, 表示每个所述词向量对应的向后方向编码的隐藏状态向量。

3.根据权利要求1所述的情感分析方法,其特征在于,所述将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型,获得所述句子的句法信息的步骤包括:获取所述句法图的句法邻接矩阵;其中,所述句法邻接矩阵表示所述句法图中单词的邻接关系;

将所述隐藏状态向量和所述句法邻接矩阵输入至所述第一图卷积神经网络模型,获得所述句子的句法信息;其中,获得所述句法信息的公式如下:c

其中,H表示所述隐藏状态向量, 表示所述第一图卷积神经网络模型的第一层输入, 表示由 拼接而成,“;”表示拼接, 表示所述第一图卷积神经网络模型的第l‑1层输出, 是归一化邻接矩阵,Asy是所述句法邻接矩阵,If是单位矩阵, 是度矩阵, 是所述第一图卷积神经网络模型第l层的可学习参数矩阵,ReLU表示激活函数, 表示所述句子的句法信息。

4.根据权利要求1所述的情感分析方法,其特征在于,所述将所述隐藏状态向量输入至多头自注意力机制模型,获得语义图,并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型,获得所述句子的语义信息的步骤包括:将所述隐藏状态向量输入至多头自注意力机制模型,获得所述语义图的初始语义邻接矩阵;

将所述隐藏状态向量和所述初始语义邻接矩阵输入至所述第二图卷积神经网络模型的运算公式中,得到所述第二图卷积神经网络模型初始层的输出结果;

将所述初始语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果,输入至多头自注意力机制模型更新公式,获得更新语义邻接矩阵;

将所述更新语义邻接矩阵和所述第二图卷积神经网络模型初始层的输出结果,重复执行输入操作,直至得到所述第二图卷积神经网络模型输出层的输出结果,获得所述句子的语义信息;其中,所述获得所述语义图的初始语义邻接矩阵的公式如下:c

其中,H 表示所述隐藏状态向量, 作为所述第二图卷积神经网络模型的第一层输入,K是多头自注意力的头数,dlstm是所述双向LSTM网络每个隐藏状态向量维度,dhead是所述多头自注意力每个头的维度 , 是初始 层第i个自 注意力矩阵 ,是所述多头自注意力机制模型的初始层中第i个自注意力矩阵对应的第一可训练的参数矩阵, 是所述多头自注意力机制模型的初始层中第i个自注意力矩阵对应的第二可训练的参数矩阵,T表示矩阵的转置,topk表示挑选出矩阵中最大的k个元素, 是所述初始语义邻接矩阵;

其中,所述第二图卷积神经网络模型的运算公式如下:其中, 是归一化邻接矩阵,If是单位矩阵,是度矩阵, 是所述第二图卷积神经网络模型第一层的可学习的参数矩阵,ReLU表示激活函数, 表示所述第二图卷积神经网络模型初始层的输出结果;

其中,所述多头自注意力机制模型更新公式如下:其中, 是由 拼接而成,“;”表示拼接, 表示所述第二图卷积神经网络模型的第l‑1层输出, 表示第l层第i个自注意力矩阵, 是所述多头自注意力机制模型的第l层中第i个自注意力矩阵对应的第一可训练的参数矩阵,是所述多头自注意力机制模型的第l层中第i个自注意力矩阵对应的第二可训练的参数矩阵,T表示矩阵的转置,dhead是所述多头自注意力每个头的维度,softmax表示现有的softmax激活函数,argmax表示现有的argmax函数,K是多头自注意力的头数 是所述更新语义邻接矩阵的中间结果,topk表示挑选出矩阵中最大的k个元素, 是所述更新语义邻接矩阵;

其中,所述得到第二图卷积神经网络模型输出层的输出结果公式如下:其中, 是归一化邻接矩阵, 是所述更新语义邻接矩阵,If是单位矩阵, 是度矩阵, 第二图卷积神经网络模型第l层的可学习的参数矩阵表示,ReLU表示激活函数, 表示所述句子的语义信息。

5.根据权利要求1所述的情感分析方法,其特征在于,所述将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后,得到特定目标信息,对所述特定目标信息拼接融合,得到特定目标的特征表达的步骤包括:将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后,获得句法特定目标信息、语义特定目标信息和公共特定目标信息;

将所述句法特定目标信息、所述语义特定目标信息和所述公共特定目标信息拼接,获得特定目标表示;

将所述特定目标表示输入多层神经网络融合公式,获得特定目标的特征表达;

其中,所述获得句法特定目标信息、语义特定目标信息和公共特定目标信息公式如下:其中,mask(·)是所述掩码模型的输出函数,τ是所述待进行情感分析的句子中特定目标的下标表示,τ+1表示所述待进行情感分析的句子中第1个特定目标的下标表示,τ+m表示所述待进行情感分析的句子中第m个特定目标的下标表示,τ+1≤t≤τ+m是特定目标的索引,m表示特定目标的数量,f(·)是平均池化函数, 表示所述句法信息, 表示所述句法图和所述语义图之间的公共信息, 表示所述语义信息,hsy表示所述句法特定目标信息,hse表示所述语义特定目标信息,hc表示所述公共特定目标信息;

其中,所述获得特定目标的特征表达公式如下:ha=[hsy;hc;hse]其中,ha表示特定目标表示,“;”表示拼接;

其中,所述多层神经网络融合公式如下:其中, 表示可学习的权重矩阵,b1表示偏置项,ReLU表示激活函数, 表示所述特定目标的特征表达。

6.根据权利要求1所述的情感分析方法,其特征在于,所述将所述特定目标的特征表达输入至全连接网络进行概率计算,得到所述特定目标的情感分析结果的步骤包括:将所述特定目标的特征表达输入至全连接网络的softmax层运算公式进行概率计算,得到所述特定目标的情感分析结果;其中,softmax层运算公式如下:其中, 表示所述特定目标的特征表达, 表示可学习的权重矩阵,b2表示偏置项,softmax表示现有的softmax激活函数, 表示所述情感分析结果。

7.一种情感分析装置,其特征在于,包括:隐藏状态获取模块,用于获取待进行情感分析的句子的词向量,将所述词向量输入至双向LSTM神经网络,得到所述词向量对应的隐藏状态向量;

依存句法树转换模块,用于获取所述句子对应的依存句法树,将所述依存句法树转换为句法图;

句法信息获得模块,用于将所述隐藏状态向量和所述句法图输入至第一图卷积神经网络模型,获得所述句子的句法信息;

语义信息获得模块,用于将所述隐藏状态向量输入至多头自注意力机制模型,获得语义图,并将所述隐藏状态向量和所述语义图输入至第二图卷积神经网络模型,获得所述句子的语义信息;

公共信息获得模块,用于将所述隐藏状态向量、所述句法图和所述语义图输入至共享图卷积神经网络模型,获得所述句法图和所述语义图之间的公共信息;其中,将所述隐藏状态向量和所述句法图输入至共享图卷积神经网络模型,得到所述句法图的公共信息;

将所述隐藏状态向量和所述语义图输入至共享图卷积神经网络模型,得到所述语义图的公共信息;

将所述句法图的公共信息和所述语义图的公共信息输入组合运算公式,得到所述句法图和所述语义图之间的公共信息;

其中,所述得到所述句法图的公共信息公式如下:c

其中,Asy表示所述句法图的邻接矩阵,H 表示所述隐藏状态向量,Wc表示所述共享图卷积神经网络模型可学习的参数矩阵, 表示所述句法图的公共信息,SYGCN表示根据所述句法图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的句法图卷积模块;

其中,所述得到所述语义图的公共信息公式如下:c

其中,Ase表示所述语义图的邻接矩阵,H表示所述隐藏状态向量, 表示所述语义图的公共信息,SEGCN表示根据所述语义图的邻接矩阵、所述隐藏状态向量以及所述共享图卷积神经网络模型可学习的参数矩阵得到所述句法图的公共信息的语义图卷积模块;

其中,所述组合运算公式如下:

其中,α和β是可学习的参数矩阵, 表示所述句法图和所述语义图之间的公共信息;

特征表达获得模块,用于将所述句法信息、所述语义信息和所述公共信息输入至掩码模型取平均池化后,得到特定目标信息,对所述特定目标信息拼接融合,得到特定目标的特征表达;

情感分析模块,用于将所述特征表达输入至全连接网络进行概率计算,得到所述特定目标的情感分析结果。

8.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至6中任意一项所述的情感分析方法。

9.一种计算机可读存储介质,其上储存有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的情感分析方法。