利索能及
我要发布
收藏
专利号: 2019105885004
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种细粒度情感分类方法,其特征在于,包括以下步骤:

步骤1:对输入的句子进行预处理,将预处理后的句子以查表的方式,映射为低维稠密的词向量;

步骤2:输入句子的词向量,双向LSTM网络对句子的词向量进行特征提取,获取句子的语义特征信息步骤3:利用句子的语义特征信息 和注意力机制提取目标属性的特征信息 利用残差连接的方式,将目标属性的特征信息 与句子的语义特征信息 进行信息融合,得到特征信息 对特征信息 进行位置编码得到记忆信息 使用位置信息Lo扩展记忆信息形成目标属性的网络记忆信息Mk;

步骤4:利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理,提取网络记忆信息的情感信息;

步骤5:将情感信息映射为一个三维的概率向量,得到情感预测向量,依据情感预测向量判别出细粒度情感分类结果。

2.根据权利要求1所述一种细粒度情感分类方法,其特征在于,所述步骤1中,通过将句子的每一个单词映射为词向量,得到词向量表达式X=[x1,x2,…,xi,…,xn-1,xn],其中,n代表句子中单词的个数。

3.根据权利要求2所述一种细粒度情感分类方法,其特征在于,所述步骤2中:所述双向LSTM网络包括前向LSTM网络和后向LSTM网络,所述前向LSTM网络和后向LSTM网络的输入顺序相反;通过前向LSTM网络和后向LSTM网络捕捉词向量的前后位置关系,获取句子的语义特征信息

4.根据权利要求3所述一种细粒度情感分类方法,其特征在于,所述前向LSTM网络的表达式如下:其中, 为前向LSTM网络在k时刻遗忘门的输出, 为时刻k输入门的输入, 为输出门的输出; 为遗忘门的权重矩阵、Wif为输入门的权重矩阵、 为输出门的权重矩阵、为记忆信息的权重矩阵; 均为权重矩阵, 为遗忘门的偏置向量、为输入门的偏置向量、 为输出门的偏置向量, 为记忆信息的偏置向量; 表示新的上下文记忆信息, 代表更新的LSTM网络单元的记忆内容;σ表示sigmoid函数,⊙表示元素乘积, 为k-1时刻的前向隐藏层输出, 为k时刻的输入信息。

5.根据权利要求1-4中任一项所述一种细粒度情感分类方法,其特征在于,所述步骤3中利用句子的语义特征信息 和注意力机制提取目标属性的特征信息 具体为:输入句子的语义特征信息 利用目标属性的词向量和双向LSTM对目标属性进行建模,得到目标属性的隐向量 其中j=1,2,...,m,m表示目标属性的单词数量;利用注意力机制对目标属性的隐向量 和句子的语义向量 进行建模,得到目标属性的特征信息

6.根据权利要求5所述一种细粒度情感分类方法,其特征在于,所述步骤3中获取特征信息 具体为:使用双向LSTM网络处理目标属性的词向量得到目标属性的隐向量表达式利用目标属性的隐向量和句子的语义特征信息 构建目标属性融合的模型,目标属性融合的模型如下:

[χ1,χ2,...,χj,...,χm]=softmax([γ1,γ2,...,γj,...,γm]);

其中,W1为目标属性的权重向量,b1为相应的偏置项, 为句子的语义特征信息,γj为注意力权值,χj为归一化的注意力权重;

利用目标属性的隐向量 进行建模,得到目标属性的特征信息 具体为:

其中,χj为归一化的注意力权重系数;

利用残差连接方式,将目标属性的特征信息 与句子的语义特征信息 进行信息融合,具体为:其中,W3、W4表示权重矩阵,ReLU表示修正线性单元, 表示融合的语义特征。

7.根据权利要求6所述一种细粒度情感分类方法,其特征在于,所述步骤3中利用位置编码得到记忆信息 使用位置信息Lo扩展记忆信息 形成特定目标属性的网络记忆信息Mk具体为:使用位置加权处理融合的特征信息 句子中单词的位置权重函数W(i)具体为:其中:i表示单词的位置标号,k表示目标属性的起始位置,m表示目标属性的长度,n表示句子的长度;L(i)表示一个与位置相关的加权系数;

利用特征信息 和位置函数W(i)得到的位置权重wloc做乘积,得到初始的记忆信息具体为:利用绝对值距离衡量文本中单词和目标属性的位置关系,具体表达式为

Lo=|k-i|/lmax;

其中,lmax表示句子的长度,Lo表示与位置有关的权重;

利用 和Lo在向量维度上进行扩展,得到网络的记忆信息Mk,具体为:

8.根据权利要求7所述一种细粒度情感分类方法,其特征在于,所述步骤4中利用多轮的注意力机制对特定目标属性的网络记忆信息进行处理,提取网络记忆信息的情感特征具体为:利用GRU网络更新情感特征et,具体更新过程如下:其中,Wr、Wz、Wx、Wg、Ur、Uz为权重矩阵,et-1表示前一时刻从网络记忆信息中抽取的情感特征,表示当前时刻的输入向量,et表示当前时刻的情感特征信息;

当前时刻t的输入信息 的获取过程如下:

其中,(mj,et-1,hT)表示向量维度上的结合,WL表示权重矩阵, 表示偏移项, 表示注意力权重, 代表注意力权重的归一化值,表示GRU网络在t时刻的输入向量,hT表示目标属性特征,通过求解 的均值得到,k=1,2,...,n;

经过m轮的注意力机制求解,得到的情感信息em。

9.根据权利要求8所述一种细粒度情感分类方法,其特征在于,所述步骤5中,将情感信息em映射为一个三维的概率向量,得到情感预测向量;当该情感预测向量第一维的概率值最大,则将目标词判别为正向;当情感预测向量第二维的概率值最大,则将目标词判别为中性;否则,则将目标词判别为反向。

10.一种细粒度情感分类系统,其特征在于,包括:

预处理层(1),用于对输入的句子进行预处理;

词向量层(2),用于将预处理后的句子以查表的方式,映射为低维稠密的词向量;

双向LSTM网络层(3),用于对句子的词向量进行特征提取,获取句子的语义特征信息记忆网络层(4),用于利用句子的语义特征信息 和注意力机制提取目标属性的特征信息 利用残差连接的方式,将目标属性的特征信息 与句子的语义特征信息 进行信息融合,得到特征信息 对特征信息 进行位置编码得到记忆信息 使用位置信息Lo扩展记忆信息 形成目标属性的网络记忆信息Mk;

循环注意力层(5),用于利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理,提取网络记忆信息的情感信息;

softmax层(6),用于将情感信息映射为一个三维的概率向量,得到情感预测向量,依据情感预测向量判别出细粒度情感分类结果。