欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021106295571
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种情感分析方法,其特征在于,所述情感分析方法包括:获取目标语句以及所述目标语句中的属性词;

将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中,获得上下文隐藏向量,以及将所述属性词对应的向量表示输入至所述门控循环神经网络中,获得属性词隐藏向量;

根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作,生成第一隐藏表示,其中,所述第一隐藏表示包含的信息去除了与所述属性词无关的信息;

根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制,生成第二隐藏表示,其中,所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息;

根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制,生成第三隐藏表示,其中,所述第三隐藏表示为降低了不规则句法信息的噪声的信息;

将所述第二隐藏表示以及所述第三隐藏表示进行拼接,获得情感特征表示;

根据所述情感特征表示,生成情感分析结果。

2.根据权利要求1所述的情感分析方法,其特征在于,所述根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作,生成第一隐藏表示包括:根据所述目标语句中每个词语与所述属性词的距离,确定所述目标语句中每个词语的位置权重;

将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算,获得图卷积网络的隐藏层输出,其中,确定所述图卷积网络的隐藏层输出的公式如下:

其中,和 都是一个标识,用来标识一个词语或者一个节点,词语与节点一一对应,表示词语 的位置权重,所述图卷积网络包括多个子层, 表示所述图卷积网络第 层的节点 的隐藏表示, 是第 层的节点 的隐藏表示与位置权重 的衰减表示, 表示节点 在所述图卷积网络第 层的隐藏表示, 是所述图卷积网络第 层线性变化权重矩阵, 表示所述图卷积网络第 层的偏置项, 表示激活函数, 表示节点 的度, 表示邻接矩阵中词语 与词语 对应的值,邻接矩阵的对角线值为1,若存在从词语 到词语的边,则 且 ,否则 且 , 表示节点 在所述图卷积网络第 层更新过程中的中间状态, 是一种激活函数;

根据所述属性词隐藏向量和所述属性词的门机制模型,对所述图卷积网络的隐藏层输出进行调整,获得门机制调整表示;其中,获得所述门机制调整表示的公式为:其中, 表示激活函数, 是所述属性词隐藏向量; 是权重矩阵, 是偏置项, 表示逐点相乘, 表示图卷积基于属性词的门向量, 是所述门机制调整表示;

根据所述属性词的屏蔽操作,对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽,获得属性词屏蔽表示;

根据所述属性词屏蔽表示以及所述上下文隐藏向量,生成所述第一隐藏表示,其中,生成所述第一隐藏表示的公式为:

其中, 是注意力权重, 是归一化后的注意力权重,表示向量的转置, 是所述门机制调整表示 的值, 是所述属性词屏蔽表示, 为最终得到的所述第一隐藏表示,为所述图卷积网络中第 个节点的第一隐藏表示, ,是所述目标语句的长度。

3.根据权利要求2所述的情感分析方法,其特征在于,所述根据所述目标语句中每个词与所述属性词的距离,确定所述目标语句中每个词语的位置权重包括:获取所述目标语句中的每个词语与所述属性词的距离;

根据所述距离以及预设的位置权重公式,确定所述词语的位置权重,其中,所述预设的位置权重公式如下:

其中,为第 个词语的标识,表示所述目标语句的长度, 是所述属性词的开始标记, 表示所述属性词的长度, 表示取的词语在所述属性词前面,表示取的词语是所述属性词, 表示取的词在所述属性词后面,是超参数。

4.根据权利要求1所述的情感分析方法,其特征在于,所述根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制,生成第二隐藏表示包括:根据所述第一隐藏表示以及所述属性词隐藏向量,通过所述协同注意力机制的交互式学习,获得上下文和所述属性词之间的第一注意力机制权重矩阵,其中,获得所述第一注意力机制权重矩阵的公式如下:

其中, 是可训练的参数矩阵,表示实数, 表示所述图卷积网络的输出维度, 表示维度为 的实数矩阵, 为偏置项, 表示维度为的实数矩阵, 表示所述属性词的长度,表示所述目标语句的长度, 是所述属性词隐藏向量, 是所述第一隐藏表示,是激活函数,表示向量的转置;

根据所述第一注意力机制权重矩阵,确定注意力上下文表示,其中,获得所述注意力上下文表示的公式如下:

其中, 为可训练的参数矩阵, 为可训练的参数矩阵,为偏置项, 表示维度为 的实数矩阵,为激活函数;

根据所述注意力上下文表示以及所述自注意力机制,确定上下文注意力机制权重,其中,获得所述上下文注意力机制权重的公式如下:其中, 为可训练的参数向量, 表示维度为 的实数矩阵, 为偏置项;

根据所述上下文注意力机制权重以及所述注意力上下文表示,生成所述第二隐藏表示,其中,生成所述第二隐藏表示的公式如下:其中, 为所述第二隐藏表示,所述注意力上下文表示 包括所述图卷积网络中多个节点的注意力上下文表示, 为所述图卷积网络中第 个节点的注意力上下文表示。

5.根据权利要求1所述的情感分析方法,其特征在于,所述根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制,生成第三隐藏表示包括:

根据所述上下文隐藏向量以及所述属性词隐藏向量,通过所述协同注意力机制的交互式学习生成第二注意力机制权重矩阵,其中,生成所述第二注意力机制权重矩阵的公式如下:

其中, 是可训练的参数矩阵,表示实数, 表示所述图卷积网络的输出维度, 表示维度为 的实数矩阵, 为偏置项, 表示维度为的实数矩阵, 表示所述属性词的长度,表示所述目标语句的长度, 是激活函数,表示向量的转置;

根据所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量以及所述自注意力机制,生成所述第三隐藏表示,其中,生成所述第三隐藏表示的公式如下:其中, 以及 均为可训练的参数矩阵, 为可训练的参数向量, 以及 均为偏置项, 为激活函数, 为进一步确认的所述目标语句的上下文表示,为自注意力权重, 是所述属性词隐藏向量, 为所述第三隐藏表示,为所述图卷积网络中的第 个节点的进一步确认的所述目标语句的上下文表示。

6.根据权利要求1所述的情感分析方法,其特征在于,所述根据所述情感特征表示,生成情感分析结果包括:

将所述情感特征表示输入至预设的输出层中,获得所有情感类别的输出概率分布,其中,获得所述所有情感类别的输出概率分布的公式如下:其中, 表示未进行归一化的所有情感类别的输出概率分布, 是可学习的权重,表示实数, 表示维度为 的实数矩阵, 是偏置项, 表示维度为 的实数矩阵, 是一种激活函数, 表示归一化后的所述所有情感类别的输出概率分布,表示所有情感类别;

根据所述所有情感类别的输出概率分布,确定与所述情感特征表示对应的情感分析结果。

7.一种情感分析装置,其特征在于,所述情感分析装置包括:获取模块,用于获取目标语句以及所述目标语句中的属性词;

输入模块,用于将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中,获得上下文隐藏向量,以及将所述属性词对应的向量表示输入至所述门控循环神经网络中,获得属性词隐藏向量;

第一生成模块,用于根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作,生成第一隐藏表示,其中,所述第一隐藏表示包含的信息去除了与所述属性词无关的信息;

第二生成模块,用于根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制,生成第二隐藏表示,其中,所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息;

第三生成模块,用于根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制,生成第三隐藏表示,其中,所述第三隐藏表示为降低了不规则句法信息的噪声的信息;

拼接模块,用于将所述第二隐藏表示以及所述第三隐藏表示进行拼接,获得情感特征表示;

第四生成模块,用于根据所述情感特征表示,生成情感分析结果。

8.根据权利要求7所述的情感分析装置,其特征在于,所述第一生成模块根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作,生成第一隐藏表示的方式具体为:根据所述目标语句中每个词语与所述属性词的距离,确定所述目标语句中每个词语的位置权重;

将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算,获得图卷积网络的隐藏层输出,其中,确定所述图卷积网络的隐藏层输出的公式如下:

其中,和 都是一个标识,用来标识一个词语或者一个节点,词语与节点一一对应,表示词语 的位置权重,所述图卷积网络包括多个子层, 表示所述图卷积网络第 层的节点 的隐藏表示, 是第 层的节点 的隐藏表示与位置权重 的衰减表示, 表示节点 在所述图卷积网络第 层的隐藏表示, 是所述图卷积网络第 层线性变化权重矩阵, 表示所述图卷积网络第 层的偏置项, 表示激活函数, 表示节点 的度, 表示邻接矩阵中词语 与词语 对应的值,邻接矩阵的对角线值为1,若存在从词语 到词语的边,则 且 ,否则 且 , 表示节点 在所述图卷积网络第 层更新过程中的中间状态, 是一种激活函数;

根据所述属性词隐藏向量和所述属性词的门机制模型,对所述图卷积网络的隐藏层输出进行调整,获得门机制调整表示;其中,获得所述门机制调整表示的公式为:其中, 表示激活函数, 是所述属性词隐藏向量; 是权重矩阵, 是偏置项, 表示逐点相乘, 表示图卷积基于属性词的门向量, 是所述门机制调整表示;

根据所述属性词的屏蔽操作,对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽,获得属性词屏蔽表示;

根据所述属性词屏蔽表示以及所述上下文隐藏向量,生成所述第一隐藏表示,其中,生成所述第一隐藏表示的公式为:

其中, 是注意力权重, 是归一化后的注意力权重,表示向量的转置, 是所述门机制调整表示 的值, 是所述属性词屏蔽表示, 为最终得到的所述第一隐藏表示,为所述图卷积网络中第 个节点的第一隐藏表示, ,是所述目标语句的长度。

9.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至6中任意一项所述的情感分析方法。

10.一种计算机可读存储介质,其上储存有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的情感分析方法。