利索能及
我要发布
收藏
专利号: 2021108383435
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图神经网络的方面级情感分析方法,其特征在于,该方法具体包括以下步骤:

S1:特征输入阶段:使用Bert预训练语言模型进行词向量映射,再进行一次BiLSTM层的计算,得到含有上下文语义信息表示的隐藏特征;

S2:语义特征提取阶段:采用多层的多跳注意力图神经网络MAGNA进行语义特征提取;

S3:方面目标词和上下文语义交互阶段:将步骤S2提取到的特征进行一个遮蔽操作,然后与经过BiLSTM层的隐藏特征进行一个点积注意力操作,充分进行语义提取;

S4:标签预测阶段:首先对步骤S3中得到的特征进行一个最大池化操作,接着进行一个线性变换降维后再softmax操作得到最后的预测结果表示。

2.根据权利要求1所述的方面级情感分析方法,其特征在于,步骤S1中,参与计算的词向量是以高维的数字向量来代表一句话中的每一个标记。

3.根据权利要求1所述的方面级情感分析方法,其特征在于,步骤S2中,采用多层的多跳注意力图神经网络MAGNA进行语义特征提取,具体包括:使用Spacy进行依存句法分析得到依存句法分析树,把单跳连接的节点和连接关系得到的邻接矩阵AM保存为本地文件;同时引入局部位置信息,对于方面目标词前后三个单词范围内的词使用1表示,超过这个范围的词使用0表示,得到局部位置权重矩阵LM,将邻接矩阵AM和局部权重矩阵LM相加,得到带有局部位置权重信息的邻接矩阵M,通过多层的MAGNA操作后,得到丰富的基于依存句法结构的多跳连接信息;同时在每层MAGNA之间都通过一个线性变换操作来降维度,进行一个dropout操作防止过拟合,最后再进行一个残差连接。

4.根据权利要求3所述的方面级情感分析方法,其特征在于,所述MAGNA包括注意力计算模块、多头注意力扩散模块,两个归一化层、前馈层和两个残余连接模块。

5.根据权利要求4所述的方面级情感分析方法,其特征在于,所述注意力计算模块的计算过程包括:给点图 v表示节点的集合,ε表示边的集合,计算一条边(vi,rk,vj)的注意力得分 表达式为:

其中, 是第l层可训练的参数,d(l)

和dr分别表示编码维度,vi和vj表示点,rk表示边,l=1,…,L;根据图 中边的信息,得到(l)

一个注意力得分矩阵S ,表达式为:然后,运用逐行的softmax计算在l层融合了节点i和j的注意力值

6.根据权利要求5所述的方面级情感分析方法,其特征在于,利用所述多头注意力扩散模块计算多跳邻居的多头注意力扩散,具体包括:利用注意力矩阵A的幂,通过图扩散来计算多跳邻居的注意分数如下:

其中, Θi表示是第i个头

(l)

的注意力参数,Wo表示权重矩阵,MH表示多头数,H 、 分别表示中间计算的状态;

然后进行层规范化和残差连接 和层规范化(l)

其中,Wi 表示权重矩阵。

7.根据权利要求6所述的方面级情感分析方法,其特征在于,每层MAGNA的计算表达式为:

其中, 为可训练的权重矩阵,就是线性变换降维, 表示偏差,dh表示隐藏状态维度,σ表示非线性激活函数, 其中 表示与节点i相邻的节点j的度数Mij之和。

8.根据权利要求1所述的方面级情感分析方法,其特征在于,步骤S4中,在训练阶段使用交叉熵计算真实标签和预测标签之间的损失值,在测试阶段根据预测结果表示来做模型方法的效果评价。