利索能及
我要发布
收藏
专利号: 2018100224354
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于动态记忆网络的实体级别情感分类系统,其特征在于,包括一个动态记忆网络,所述动态记忆网络包括输入模块、问题模块、记忆模块和回答模块;利用动态记忆网络将实体级别情感分类问题建模为问答模型;其中,输入模块用于对已指定实体目标的输入文本进行编码处理以得到文本向量表示;

问题模块中设计针对实体目标词的问题,为记忆模块每次更新提供注意对齐的特征信息;

记忆模块分别通过多跳注意力和记忆更新两个子模块对文本输入表示进行记忆提取与记忆更新,并将最终更新特征传输给回答模块;

回答模块,用于对记忆模块所提取的特征进行情感极性预测以及模型训练;在训练完模型后,训练模型能够完成实体级别的情感分类,包括正向、中立以及负向情感极性;

所述问题模块中设计针对目标词的问题,具体包括通过设计目标词所对应的情感问题编码得到实体词特征表示,首先将所设计问题映射为问题词向量序列,接着利用单层双向GRU结构对其进行编码得到目标词的编码表示,定义GRU编码后的最终时刻隐层状态为q0;此外,为了使问题表征空间与输入表征空间存在特征差异,在GRU编码所得到的特征基础上加入非线性层,最终问题模块输出为:(q) (q)

q=tan(W q0+b )(q) (q)

其中q0为GRU编码的最终隐层状态,W 和b 为问题编码参数;

所述记忆模块的多跳注意力机制包括:软注意力,基于注意力机制的GRU网络和内部注意力GRU网络;

所述记忆模块每次attention step后采用ReLU结构来更新信息,计算如下:0

m=q

k k k‑1 k

m=ReLU(W[m ;c;q]+b)

0 k k

其中利用问题编码表示q初始化记忆m ,W 和b 为记忆更新参数;其中,k表示第k次注k

意,b表示偏置参数,c表示第k次注意所提取的记忆特征信息。

2.根据权利要求1所述的基于动态记忆网络的实体级别情感分类系统,其特征在于,所述输入模块中还加入单词位置信息以及残差结构以增强输入表示。

3.根据权利要求2所述的基于动态记忆网络的实体级别情感分类系统,其特征在于,所述输入模块对输入文本进行编码处理得到文本向量表示具体包括;

给定输入文本序列{w1,w2,...,wn}以及对应实体目标 n表示文本中包含的单词个数, 表示构成实体目标的第m个单词,首先利用预训练词向量将输入文本序列映射成词向量序列{e1,e2,...,en},将词向量序列堆叠成词向量矩阵 其中d代表词向量维度;

采用单层双向GRU结构对融合后的向量进行编码处理,得到编码后向量表示编码如下所示:

f b

其中,GRU表示前向GRU网络,GRU表示后向GRU网络,表示双向GRU网络的输出隐向量。

4.根据权利要求3所述的基于动态记忆网络的实体级别情感分类系统,其特征在于,所述输入模块中还加入单词位置信息以及残差结构以增强输入表示,具体包括:首先计算上下文中的词与实体词的相对距离,定义为pi,借鉴词向量训练方式,将相对位置映射为位置向量,定义为li,并将其视为网络可以自动学习参数;为了将位置向量与词向量融合,采用向量对应元素相加方法:si=ei+li,最终得到融合向量序列{s1,s2,...,sn};

将该残差结构结构引入输入模块增强文本表示,输入模块最终输出的编码表示为:其中ei表示词向量。

5.根据权利要求1所述的基于动态记忆网络的实体级别情感分类系统,其特征在于,所述回答模块在完成多次attention steps后,将记忆模块的输出送入softmax层进行情感极性预测,其输出为情感类别概率分布,计算如下:p (o) k (o)

y=softmax(W m+b )p (o) (o) k

其中y表示类别的概率分布,W 表示输出层参数矩阵,b 表示输出层偏置参数m 表示第k次更新后的记忆特征;模型训练通过最下化如下损失函数:其中D代表训练数据集,C为情感类别种类,θ表示模型参数,yc表示真实类别标签,λ是L2正则参数项。

6.一种基于权利要求1所述系统的基于动态记忆网络的实体级别情感分类方法,其特征在于,包括以下步骤:

步骤一、利用动态记忆网络将实体级别情感分类问题建模为问答模型;动态记忆网络主要包括输入模块,问题模块,记忆模块和回答模块;

步骤二、动态记忆网络中的输入模块对输入文本进行编码处理得到文本向量表示;

步骤三、动态记忆网络中的问题模块针对实体目标词的问题,为记忆模块每次更新提供注意对齐的特征信息;

步骤四、动态记忆网络中的记忆模块对输入模块所编码后的文本向量表示进行处理,通过多跳注意力和记忆更新两个子模块提取文本特征;

步骤五、动态记忆网络中的回答模块对记忆模块所提取的文本特征进行情感概率预测,通过最小化相应的损失函数进行模型训练;

步骤六、在训练完模型后,该模型完成实体级别的情感分类问题,包括正向、中立或者负向情感极性;

所述问题模块中设计针对目标词的问题,具体包括通过设计目标词所对应的情感问题编码得到实体词特征表示,首先将所设计问题映射为问题词向量序列,接着利用单层双向GRU结构对其进行编码得到目标词的编码表示,定义GRU编码后的最终时刻隐层状态为q0;此外,为了使问题表征空间与输入表征空间存在特征差异,在GRU编码所得到的特征基础上加入非线性层,最终问题模块输出为:(q) (q)

q=tan(W q0+b )(q) (q)

其中q0为GRU编码的最终隐层状态,W 和b 为问题编码参数;

所述记忆模块的多跳注意力机制包括:软注意力,基于注意力机制的GRU网络和内部注意力GRU网络;

所述记忆模块每次attention step后采用ReLU结构来更新信息,计算如下:0

m=q

k k k‑1 k

m=ReLU(W[m ;c;q]+b)

0 k k

其中利用问题编码表示q初始化记忆m ,W 和b 为记忆更新参数;其中,k表示第k次注k

意,b表示偏置参数,c表示第k次注意所提取的记忆特征信息。