欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021109680829
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种文档情感分类方法,其特征在于,包括:

获取文档中每个词语的词向量,利用双向GRU序列模型对所述词向量进行编码,获得所述文档的第一隐藏状态序列向量;

将所述第一隐藏状态序列向量输入至卷积神经网络模型进行特征提取,获得所述文档的语法特征向量;

将所述第一隐藏状态序列向量和所述语法特征向量输入至门控线性单元模型进行融合,获得门控输出向量;

将所述门控输出向量输入至多头自注意力机制进行语义编码,获得句子向量;其中,将所述门控输出向量输入至多头自注意力机制进行语义编码,以所述门控输出向量为查询向量,以所述门控输出向量为键和值,获得所述多头自注意力机制中每个头的注意力;

将所述每个头的注意力进行拼接,获得句子向量;

其中,获得所述多头自注意力机制每个头的注意力的公式为:R是所述门控输出向量,headj是所述多头自注意力机制的第j个头的注意力,j∈Q[1,...,h],h是所述多头自注意力的头数,dk是标度因子,softmax是softmax激活函数,Wj、K VWj和Wj是所述多头自注意力机制的权重参数;

获得句子向量的公式为:

si=Concat(head1,...,headh)Concat表示拼接,si是所述句子向量,i∈[1,...,L];

利用所述双向GRU序列模型对所述句子向量进行编码,获得所述文档的第二隐藏状态序列向量;

将所述第二隐藏状态序列向量输入至软注意力机制模型,获得文档向量;其中,所述软注意力机制模型包括单层感知机和预设的上下文向量;将所述第二隐藏状态序列向量输入至所述单层感知机,获得每个句子对应的输出向量;

根据所述输出向量和所述预设的上下文向量,获得注意力权重;

将所述注意力权重和所述第二隐藏状态序列向量相乘并求和,获得文档向量;

其中,获得每个句子对应的输出向量的公式为:

ui=tanh(Wshi+bs)

ui是所述每个句子对应的输出向量,hi是所述第二隐藏状态序列向量,tanh是tanh激活函数,Ws是所述单层感知机的权重参数,bs是所述单层感知机的偏置参数;

获得注意力权重的公式为:

us是所述预设的上下文向量,exp是以e为底的指数函数,αi是所述注意力权重,T表示转置;

获得文档向量的公式为:

d是所述文档向量;

将所述文档向量输入至softmax分类器,得到文档情感分类结果。

2.根据权利要求1所述的文档情感分类方法,其特征在于,所述获取文档中每个词语的词向量,利用双向GRU序列模型对所述词向量进行编码,获得所述文档的第一隐藏状态序列向量,包括:通过词嵌入矩阵将文档中每个词语进行向量化处理,获取文档中每个词语的词向量;

利用双向GRU序列模型对所述词向量进行编码,获得所述文档的第一隐藏状态序列向量;

其中,获取文档中每个词语的词向量的公式为:

wit=Wexit

所述文档包括L个句子,第i个句子包括Ti个词语,i∈[1,...,L],xit是所述文档的第i个句子中第t个词语,t∈[1,...,Ti],We是所述词嵌入矩阵,wit是所述文档的第i个句子中第t个词语对应的词向量;

获得所述文档的第一隐藏状态序列向量的公式为:

是对所述词向量进行向前方向编码的第一隐藏状态序列向量, 是对所述词向量进行向后方向编码的第一隐藏状态序列向量,H是所述第一隐藏状态序列向量, 是对所述词向量进行向前方向编码的GRU序列模型, 是对所述词向量进行向后方向编码的GRU序列模型。

3.根据权利要求1所述的文档情感分类方法,其特征在于,所述卷积神经网络模型包括第一卷积层、第二卷积层和第三卷积层,所述将所述第一隐藏状态序列向量输入至卷积神经网络模型进行特征提取,获得所述文档的语法特征向量,包括:将所述第一隐藏状态序列向量并行输入至所述第一卷积层、所述第二卷积层和所述第三卷积层进行卷积运算,获得第一输出向量、第二输出向量和第三输出向量;

将所述第一输出向量、所述第二输出向量和所述第三输出向量进行向量拼接,获得所述文档的语法特征向量。

4.根据权利要求1所述的文档情感分类方法,其特征在于,所述将所述第一隐藏状态序列向量和所述语法特征向量输入至门控线性单元模型进行融合,获得门控输出向量,包括:将所述语法特征向量输入至门控线性单元模型的sigmoid函数进行激活,将激活结果与所述第一隐藏状态序列向量进行点乘,获得门控输出向量;

其中,获得门控输出向量的公式为:

R=σ(WdD+bd)⊙(WhH+bh)

D是所述语法特征向量,H是所述第一隐藏状态序列向量,σ是所述sigmoid函数,⊙表示所述点乘,R是所述门控输出向量,Wd和Wh是所述门控线性单元模型的权重参数,bd和bh是所述门控线性单元模型的偏置参数。

5.根据权利要求1所述的文档情感分类方法,其特征在于,所述将所述文档向量输入至softmax分类器,得到文档情感分类结果,包括:将所述文档向量输入至softmax分类器进行情感极性的概率分布计算,得到文档情感分类结果;

其中,概率分布计算公式为:

y=softmax(Wd+b)

y是所述文档情感分类结果,d是所述文档向量,softmax是softmax激活函数,W是所述softmax分类器的权重参数,b是所述softmax分类器的偏置参数。

6.一种文档情感分类装置,其特征在于,包括:

词向量获取模块,用于获取文档中每个词语的词向量,利用双向GRU序列模型对所述词向量进行编码,获得所述文档的第一隐藏状态序列向量;

特征提取模块,用于将所述第一隐藏状态序列向量输入至卷积神经网络模型进行特征提取,获得所述文档的语法特征向量;

向量融合模块,用于将所述第一隐藏状态序列向量和所述语法特征向量输入至门控线性单元模型进行融合,获得门控输出向量;

输出向量编码模块,用于将所述门控输出向量输入至多头自注意力机制进行语义编码,获得句子向量;其中,将所述门控输出向量输入至多头自注意力机制进行语义编码,以所述门控输出向量为查询向量,以所述门控输出向量为键和值,获得所述多头自注意力机制中每个头的注意力;

将所述每个头的注意力进行拼接,获得句子向量;

其中,获得所述多头自注意力机制每个头的注意力的公式为:R是所述门控输出向量,headj是所述多头自注意力机制的第j个头的注意力,j∈Q[1,...,h],h是所述多头自注意力的头数,dk是标度因子,softmax是softmax激活函数,Wj、K VWj和Wj是所述多头自注意力机制的权重参数;

获得句子向量的公式为:

si=Concat(head1,...,headh)Concat表示拼接,si是所述句子向量,i∈[1,...,L];

句子向量编码模块,用于利用所述双向GRU序列模型对所述句子向量进行编码,获得所述文档的第二隐藏状态序列向量;

文档向量获得模块,用于将所述第二隐藏状态序列向量输入至软注意力机制模型,获得文档向量;其中,所述软注意力机制模型包括单层感知机和预设的上下文向量;将所述第二隐藏状态序列向量输入至所述单层感知机,获得每个句子对应的输出向量;

根据所述输出向量和所述预设的上下文向量,获得注意力权重;

将所述注意力权重和所述第二隐藏状态序列向量相乘并求和,获得文档向量;

其中,获得每个句子对应的输出向量的公式为:

ui=tanh(Wshi+bs)

ui是所述每个句子对应的输出向量,hi是所述第二隐藏状态序列向量,tanh是tanh激活函数,Ws是所述单层感知机的权重参数,bs是所述单层感知机的偏置参数;

获得注意力权重的公式为:

us是所述预设的上下文向量,exp是以e为底的指数函数,αi是所述注意力权重,T表示转置;

获得文档向量的公式为:

d是所述文档向量;

结果获得模块,用于将所述文档向量输入至softmax分类器,得到文档情感分类结果。

7.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至5中任意一项所述的文档情感分类方法。

8.一种计算机可读存储介质,其上储存有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的文档情感分类方法。