利索能及
我要发布
收藏
专利号: 2020114726758
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习网络的文本属性词的情感分类方法,其特征在于,包括步骤:获取文本内目标句子对应的词向量;其中,所述目标句子中包括至少一个属性词,所述属性词中至少包括一个单词;

将所述目标句子对应的词向量输入预设的隐藏信息提取网络模型,得到目标句子对应的隐藏状态向量;

基于所述目标句子对应的隐藏状态向量和预设的第一句法提取神经网络,提取所述目标句子对应的句法依存树中的第一句法信息;

获取所述目标句子对应的多个局部句法依存树;其中,所述局部句法依存树是以与所述属性词的句法距离满足预设条件的单词作为节点构建的句法依存树;

根据多个所述局部句法依存树,分别获取所述目标句子对应的多个第二邻接矩阵;其中,所述第二邻接矩阵反应所述目标句子中属性词与各单词之间的邻接关系;

将所述第二邻接矩阵和上一层的第二输出结果输入至预设的第二图卷积运算公式中,得到当前层的第一输出结果 其中,所述预设的第二图卷积运算公式如下:

aspect

其中, 表示第二图卷积神经网络的第q‑1层中第j个单词的第二输出结果,W 表示权重, 表示第二邻接矩阵的第i行第j列的值, 表示第二图卷积神经网络的第q层q

中第i个单词的中间结果,ReLU表示激活函数,b表示偏置, 表示第i个单词在局部句法依存树中的深度, 表示第二图卷积神经网络的第q层中第i个单词的第一输出结果;

根据所述目标句子对应的隐藏状态向量 所述当前层的第一输出结果 以及预设的Highway Network运算公式,得到当前层的第二输出结果;其中,所述预设的Highway Network运算公式如下;

Highwayout=H(x,WH)·T(x,WT)+x(1‑T(x,WC))T

T(x,WT)=σ(WTx+bT)T

T(x,WC)=σ(WCx+bC)其中,符号 表示拼接,x表示将 与拼接后的结果,WH,WT和WC表示可训练参数,H表示一个线性变化层,T表示一个转换门,σ表示sigmoid激活函数,bT和bC均表示偏置项;

将所述当前层的第二输出结果输入至结合Highway Network的预设第二图卷积神经网络的下一层中,直至得到所述结合Highway Network的预设第二图卷积神经网络的输出层的第二输出结果 其中,所述输出层的第二输出结果为所述目标句子对应的第三句法信息;

对所述第三句法信息进行加权求和,得到第二句法信息;

对所述第一句法信息和所述第二句法信息分别进行去噪处理,获取所述第一句法信息中的上下文表示和第二句法信息中的属性词表示;

对所述上下文表示和所述属性词表示取平均池化后再进行拼接,得到所述目标句子对应的特征表示;

将所述特征表示输入预设情感分类函数中,得到所述属性词的情感分类结果。

2.根据权利要求1所述的基于深度学习网络的文本属性词的情感分类方法,其特征在于,所述将所述目标句子对应的词向量输入预设的隐藏信息提取网络模型,得到目标句子对应的隐藏状态向量,包括步骤:将所述目标句子对应的词向量W={w1,w2,...,wτ+1,...,wτ+m,...,wn‑1,wn}输入预设的双向 GR U神经 网络 模型中 ,得 到所 述目 标句 子对应 的隐 藏状 态向 量其中,n表示目标句子中单词的个数,w1,w2,...,wτ+1,...,wτ+m,...,wn‑1,wn表示目标句子中的各个单词对应的词向量,wτ+1,...,wτ+m表示属性词中各个单词对应的词向量,τ+1表示属性词在目标句子中的起始位置,τ+m表示属性词在目标句子中终止位置,m表示属性词c

中单词的个数,H表示目标句子对应的隐藏状态向量,c是隐藏状态向量的上标表示。

3.根据权利要求1所述的基于深度学习网络的文本属性词的情感分类方法,其特征在于,所述基于所述目标句子对应的隐藏状态向量和预设的第一句法提取神经网络,提取所述目标句子对应的句法依存树中的第一句法信息,包括步骤:获取所述目标句子对应的句法依存树;

根据所述句法依存树,得到所述目标句子对应的第一邻接矩阵,其中,所述第一邻接矩阵表示所述目标句子中的单词的邻接关系;

根据所述目标句子对应的隐藏状态向量、所述第一邻接矩阵和结合Highway Network的第一图卷积神经网络,提取所述目标句子对应的第一句法信息。

4.根据权利要求3所述的基于深度学习网络的文本属性词的情感分类方法,其特征在于,所述根据所述目标句子对应的隐藏状态向量、所述第一邻接矩阵和结合Highway Network的第一图卷积神经网络,提取所述目标句子对应的第一句法信息,包括步骤:将所述第一邻接矩阵和上一层的第二输出结果输入至预设的第一图卷积运算公式中,得到当前层的第一输出结果 其中,所述预设的第一图卷积运算公式如下:l

其中, 表示第一图卷积神经网络的第l‑1层中第j个单词的第二输出结果,W表示权重,Aij表示第一邻接矩阵的第i行第j列的值, 表示第一图卷积神经网络的第l层中第i个l

单词的l中间结果,ReLU表示激活函数,b表示偏置,di表示第i个单词在句法依存树中的深度, 表示第一图卷积神经网络的第l层中第i个单词的第一输出结果;

根据所述目标句子对应的隐藏状态向量 所述当前层的第一输出结果 以及预设的Highway Network运算公式,得到当前层的第二输出结果;其中,所述预设的Highway Network运算公式如下;

Highwayout=H(x,WH)·T(x,WT)+x(1‑T(x,WC))T

T(x,WT)=σ(WTx+bT)T

T(x,WC)=σ(WCx+bC)其中,符号 表示拼接,x表示将 与拼接后的结果,WH,WT和WC表示可训练参数,H表示一个线性变化运算,T表示一个转换门,σ表示sigmoid激活函数,bT和bC均表示偏置项;

将所述当前层的第二输出结果输入至所述结合Highway Network的第一图卷积神经网络的下一层中,直至得到所述结合Highway Network的第一图卷积神经网络的输出层的第二输出结果 其中,所述输出层的第二输出结果为所述目标句子对应的第一句法信息。

5.根据权利要求1所述的基于深度学习网络的文本属性词的情感分类方法,其特征在于,所述对所述第三句法信息进行加权求和,得到所述第二句法信息,包括步骤:获取每个所述第三句法信息对应的权重,根据所述权重、所述第三句法信息和预加权求和运算公式,得到所述第二句法信息;其中,所述预设加权求和运算公式如下:W1',W2',...,Wg'=softmax(W1,W2,...,Wg)其中,1‑Local,2‑Local,...,g‑Local是第三句法信息的下标,g表示局部句法依存树的阶数, 表示目标句子对应的g阶的局部句法依存树中的第三句法信息,一棵局部句法依存树对应一个第三句法信息,W1,W2,...,Wg均为随机初始化可训练的参数矩阵,softmax表示归一化指数函数,W1',W2',...,Wg'表示归一化后的参数矩阵。

6.根据权利要求1所述的基于深度学习网络的文本属性词的情感分类方法,其特征在于,所述对所述第一句法信息和所述第二句法信息分别进行去噪处理,获取所述第一句法信息中的上下文表示和第二句法信息中的属性词表示,包括步骤:根据所述第一句法信息 和预设的第一去噪公式,获取所述第一句法信息中的上下文表示,其中,所述预设的第一去噪公式如下:其中,t1∈{1,2,...,n}表示第一句法信息 中各向量的下标,τ+1表示属性词在目标句子中的起始位置,τ+m表示属性词在目标句子中终止位置,m表示属性词中单词的个数,n表示目标句子中单词的个数, 表示第一句法信息中的上下文表示;

根据所述第二句法信息 和预设的第二去噪公式,获取所述第二句法信息中的属性词表示,其中,所述预设的第二去噪公式如下:其中,t2∈{1,2,...,n}表示第二句法信息 中各向量的下标,τ+1表示属性词在目标句子中的起始位置,τ+m表示属性词在目标句子中终止位置,m表示属性词中单词的个数,n表示目标句子中单词的个数, 表示第二句法信息中的属性词表示。

7.根据权利要求1所述的基于深度学习网络的文本属性词的情感分类方法,其特征在于,所述对所述上下文表示和所述属性词表示取平均池化后再进行拼接,得到所述目标句子对应的特征表示,包括步骤:

将所述上下文表示和所述属性词表示输入预设的平均池化计算公式,并将输出结果进行拼接,得到所述目标句子对应的特征表示;其中,预设的平均池化计算公式如下:其中, 表示第一句法信息中的上下文表示,表示第二句法信息中的属性词表示,rl表示平均池化后的上下文表示,rq表示平均池化后的属性词表示, 表示拼接,o表示目标句子对应的特征表示。

8.根据权利要求1所述的基于深度学习网络的文本属性词的情感分类方法,其特征在于,所述将所述特征表示输入预设情感分类函数中,得到所述属性词的情感分类结果,包括步骤:

根据所述特征表示和预设转换公式,得到所述特征表示的转换结果;其中,所诉预设转换公式如下:

x=Wpo+bp

其中,o表示目标句子对应的特征表示,x表示特征表示的转换结果,Wp和bp表示可学习的权重和偏置项;

根据所述特征表示的转换结果输入预设情感分类函数中,得到所述属性词的情感分类结果;其中,所述预设情感分类函数为softmax函数如下:其中,y是属性词的情感分类结果,dp表示情感分类的类别。