利索能及
我要发布
收藏
专利号: 2018114454012
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力卷积神经网络的用户评论情感分析系统,其特征在于:包括词嵌入模块、卷积模块、注意力模块以及分类器模块,其中所述词嵌入模块将评论文本使用向量表示,词嵌入方法将每个单词使用一个低维向量进行表示,将每条评论中所有单词的向量表示拼接起来,构成一条评论的向量表示形式;所述卷积模块通过卷积操作提取评论的局部特征;所述注意力模块接收卷积模块的输出,通过比较相似度来决定局部特征的权重,并通过加权计算评论的最终特征表达,并作为分类器模块的输入;分类器模块根据最终特征表达进行情感分类;

所述词嵌入方法:对用户评论文本中的每个单词被低维向量x表示:

x=Lw

(1‑1)

其中 代表v维向量空间,v是单词表的大小, 是一个词嵌入矩

阵,L的第i列即单词表中第i个单词的向量表达,其中d为词向量的维度;评论文本中每一个单词都按公式(1‑1)转换,评论文本通过词嵌入层后生成一组词向量,将这组词向量进行连接即为评论的向量表示review={x1,x2,...,xn},其中 为每个单词通过词嵌入层所生成的低维向量,d为词向量的维度;

使用LSTM对每条评论进行编码,生成一个中间的序列特征表达 LSTM的计算由(1‑2)所示其中,xt为当前结点的输入向量,i、f、o和c分别代表输入门、遗忘门、输出门和激活向量,它们和隐层向量h维度相同,当下标为t‑1时代表上一个结点的输出,而下标为t时代表当前结点的输出,ht‑1是上一个结点的隐层向量输出,it、ft、ot、ct分别代表当前结点中输入门,遗忘门,输出门和激活向量的输出,W代表权重矩阵,其下标表示其对应的输入向量和门,Wxi代表当前结点输入向量在输入门上的权重矩阵,Whf代表隐层向量输入在遗忘门上的权重矩阵,Wco代表激活向量输入在输出门上的权重矩阵,b代表LSTM结点中各个门的偏置量,σ(·)为Sigmoid函数,g(·)和h(·)为转换函数,定义如公式(1‑3),(1‑4)所示,取最后一个结点的输出ht作为序列特征表达s′;

卷积层的输入是由词嵌入得到一系列词向量 其中d为词向量的维度,

n为每条评论的长度,设窗口为k卷积核权值 则卷积运算所提取的一个局部特征ci由公式(1‑5)定义:ci=φ(W*xi:i+k+b)    (1‑5)

其中,W的权值即为模型所要训练的参数,*为卷积操作,xi:i+k表示输入中一个长度为k的词向量序列,b为模型的偏置参数,φ是应用在卷积结果上的非线性函数,卷积运算后得到整个输入的特征序列c={c1,c2,...,cn},每个元素ci代表用户评论某一局部的特征;

使用中间特征s′与卷积层提取的每个局部特征ci进行比较,通过衡量两个特征之间的相似度来对局部特征赋予注意力权重值,相似度越高,则赋予注意力权重值越大,权值αi由下式给出:其中

ei=sim(ci,s′)    (1‑7)

sim()函数用来衡量两个输入向量之间的相似度,T表示局部特征的数量,使用的是余弦相似度。

2.根据权利要求1所述一种基于注意力卷积神经网络的用户评论情感分析系统,其特征在于:所述词嵌入模块的输出同时作为卷积模块和注意力模块的输入。

3.根据权利要求1或2所述一种基于注意力卷积神经网络的用户评论情感分析系统,其特征在于:所述词嵌入模块包含一个词嵌入矩阵和一个单词表,将清洗后的评论文本转换成低维向量表示,维度由用户设定,且在50到300维之间。

4.根据权利要求3所述一种基于注意力卷积神经网络的用户评论情感分析系统,其特征在于:注意力模块中包含一个长短时记忆网络,该长短时记忆网络对词嵌入模块的结果进行编码,生成与卷积模块获取的评论局部特征向量维度相同的序列特征向量。

5.根据权利要求4所述一种基于注意力卷积神经网络的用户评论情感分析系统,其特征在于:使用所述序列特征向量和评论局部特征向量的余弦相似度作为注意力权重,将注意力权重应用在局部特征向量上,获得局部特征的权重。

6.根据权利要求1或2或4或5所述一种基于注意力卷积神经网络的用户评论情感分析系统,其特征在于:所述分类器模块采用全连接神经网络与Softmax分类器层叠的方式构成,训练的误差使用交叉熵定义,模型的训练方法为逆向传播算法。

7.一种基于注意力卷积神经网络的用户评论情感分析方法,其特征在于包括以下步骤:S1:对用户评论文本数据进行数据清洗;

S2:把清洗后的评论数据输出词嵌入模块获得评论的向量表达;对用户评论文本中的每个单词被低维向量x表示:x=Lw

(1‑1)

其中 代表v维向量空间,v是单词表的大小, 是一个词嵌入矩

阵,L的第i列即单词表中第i个单词的向量表达,其中d为词向量的维度;评论文本中每一个单词都按公式(1‑1)转换,评论文本通过词嵌入层后生成一组词向量,将这组词向量进行连接即为评论的向量表示review={x1,x2,...,xn},其中 为每个单词通过词嵌入层所生成的低维向量,d为词向量的维度;

S3:将评论的向量表达输入长短时记忆网络和卷积神经网络提取特征,分别获得序列特征向量和评论的局部特征向量;

使用LSTM对每条评论进行编码,生成一个中间的序列特征表达 LSTM的计算由(1‑2)所示其中,xt为当前结点的输入向量,i、f、o和c分别代表输入门、遗忘门、输出门和激活向量,它们和隐层向量h维度相同,当下标为t‑1时代表上一个结点的输出,而下标为t时代表当前结点的输出,ht‑1是上一个结点的隐层向量输出,it、ft、ot、ct分别代表当前结点中输入门,遗忘门,输出门和激活向量的输出,W代表权重矩阵,其下标表示其对应的输入向量和门,Wxi代表当前结点输入向量在输入门上的权重矩阵,Whf代表隐层向量输入在遗忘门上的权重矩阵,Wco代表激活向量输入在输出门上的权重矩阵,b代表LSTM结点中各个门的偏置量,σ(·)为Sigmoid函数,g(·)和h(·)为转换函数,定义如公式(1‑3),(1‑4)所示,取最后一个结点的输出ht作为序列特征表达s′;

卷积层的输入是由词嵌入得到一系列词向量 其中d为词向量的维度,

n为每条评论的长度,设窗口为k卷积核权值 则卷积运算所提取的一个局部特征ci由公式(1‑5)定义:ci=φ(W*xi:i+k+b)    (1‑5)

其中,W的权值即为模型所要训练的参数,*为卷积操作,xi:i+k表示输入中一个长度为k的词向量序列,b为模型的偏置参数,φ是应用在卷积结果上的非线性函数,卷积运算后得到整个输入的特征序列c={c1,c2,...,cn},每个元素ci代表用户评论某一局部的特征;

使用中间特征s′与卷积层提取的每个局部特征ci进行比较,通过衡量两个特征之间的相似度来对局部特征赋予注意力权重值,相似度越高,则赋予注意力权重值越大,权值αi由下式给出:其中

ei=sim(ci,s′)    (1‑7)

sim()函数用来衡量两个输入向量之间的相似度,T表示局部特征的数量,使用的是余弦相似度;

S4:结合序列特征向量和评论的局部特征向量计算注意力权重,并在评论的局部特征向量上通过注意力权重计算加权和作为评论的最终特征表达;评论的最终特征表达s通过下式计算:S5:将评论的最终特征表达输入分类器进行分类,并根据模型的预测结果和真实数据标签计算误差,模型的误差函数代表了模型预测的值和训练数据真实值之间的差距;

S6:采用梯度下降法训练模型,并在达到预定的训练轮数后停止训练;

S7:将待情感分类的新数据输入训练好的模型,进行情感分析预测。

8.根据权利要求7所述一种基于注意力卷积神经网络的用户评论情感分析方法,其特征在于:所述数据清洗包括分词,去除标点符号,字母转换为小写。