欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021112513395
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种句子情感分析方法,其特征在于,包括步骤:获取待测文本以及与所述待测文本相对应的常识文本,其中,所述待测文本包括若干个句子,所述句子中包括若干个方面词;

将所述待测文本输入至词嵌入模型,获取待测文本的方面词的词向量以及位置嵌入向量,将所述待测文本的词向量以及位置嵌入向量进行拼接,获取所述待测文本的句子向量;

根据所述常识文本、待测文本的词向量以及所述词嵌入模型,获取所述常识文本的句子向量;

将所述待测文本的句子向量输入至第一双向LSTM网络中,获取所述待测文本的隐藏层向量;

将所述常识文本的句子向量输入至第二双向LSTM网络中,获取所述常识文本的隐藏层向量;

根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法,获取位置信息特征,其中,所述位置联合注意力算法包括 ,具体如下:式中, 为所述待测文本的隐藏层向量序列, 为所述 的子序列的均值;

为所述待测文本的隐藏层向量; 为所述待测文本的位置嵌入向量; 为第i个方面词在所述多头自注意力机制模型的第t个注意力头提取得到的第一嵌入向量; 为第i个方面词在所述多头自注意力机制模型的第t个注意力头提取得到的第二嵌入向量;

为关于所述位置信息特征的第一层感知机的权重参数, 为关于所述位置信息特征的第一层感知机的偏置参数; 为关于所述位置信息特征的第二层感知机的权重参数, 为关于所述位置信息特征的第二层感知机的偏置参数; 为第i个方面词在所述多头自注意力机制模型的第t个注意力头得到的权重参数; 为所述待测文本的位置信息向量; 为非线性激活函数; 为所述位置信息特征; 为所述多头自注意力机制模型关于位置信息特征的并行模块数量; 为所述多头自注意力机制模型关于位置信息特征的不同注意力头的单层感知机的权重参数;

根据所述常识文本的隐藏层向量以及常识联合注意力算法,获取常识信息特征,其中,所述常识联合注意力算法包括 ,具体如下:式中, 为关于所述常识信息特征的第一层感知机的权重参数, 为关于所述常识信息特征的第一层感知机的偏置参数; 为关于所述常识信息特征的第二层感知机的权重参数, 为关于所述常识信息特征的偏置参数; 为第i个方面词在所述多头自注意力机制模型的第t个注意力头得到的常识信息特征的权重参数; 为所述常识文本的隐藏层向量; 为所述常识文本信息向量;μ为所述常识文本的近似分布N的均值;

为所述常识文本的近似分布N的方差; 为关于所述均值μ的权重参数, 为关于所述均值μ的偏置参数;z为所述常识文本的变分瓶颈参数; 为非线性激活函数; 为关于所述方差 的权重参数, 为关于所述方差 的偏置参数; 为所述常识信息特征;

为所述常识文本的权重参数; 为所述常识文本的偏置参数;

获取依存句法树,根据所述待测文本以及依存句法树,获取与所述待测文本相对应的依存句法图;

根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中的句法联合注意力算法,获取句法信息特征,其中,所述句法联合注意力算法包括 ,具体如下:

式中, 为所述依存句法图中第i个句法关系在所述多头自注意力机制模型的第t个注意力头提取到的注意力值; 为所述依存句法图中第i个句法关系, 为关于所述句法信息特征的第一层感知机的权重参数, 为关于所述句法信息特征的第一层感知机的偏置参数; 为关于所述句法信息特征的第二层感知机的权重参数, 为关于所述句法信息特征的第二层感知机的偏置参数; 为第i个句法关系在所述多头自注意力机制模型的第t个注意力头提取到的注意力权重; 为所述待测文本的句法信息向量;

为所述多头自注意力机制模型的并行模块数量, 为所述多头自注意力机制模型关于句法信息特征的不同注意力头的单层感知机的权重参数; 为所述常识信息特征;

将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型,对所述信息特征进行拼接融合,获取融合信息特征,将所述融合信息特征输入至Softmax分类网络中,获取所述待测文本的情感分析结果。

2.根据权利要求1所述的句子情感分析方法,其特征在于,所述将所述待测文本输入至词嵌入模型,获取待测文本的方面词的词向量以及位置嵌入向量,将所述待测文本的词向量以及位置嵌入向量进行拼接,获取所述待测文本的句子向量,包括步骤:根据所述待测文本以及词嵌入模型,构建所述待测文本的嵌入空间,获取所述待测文本的词向量;

根据所述待测文本的嵌入空间以及位置索引序列算法,获取所述待测文本的位置嵌入向量,其中所述位置索引序列算法为:式中, 为所述待测文本的方面词的起始索引; 为所述待测文本的方面词的结束索引, 为所述嵌入空间的索引;

将所述待测文本的词向量以及位置嵌入向量进行拼接,获取所述待测文本的句子向量。

3.根据权利要求1所述的句子情感分析方法,其特征在于,所述根据所述常识文本、待测文本的词向量以及所述词嵌入模型,获取所述常识文本的句子向量,包括步骤:根据所述常识文本以及词嵌入模型,构建所述常识文本的嵌入空间;

根据所述常识文本的嵌入空间、以及嵌入划分算法,获取所述常识文本的位置嵌入向量,其中,所述嵌入划分算法为:

式中, 为所述常识文本的嵌入空间的索引,n为所述常识文本的序列数;

将所述待测文本的词向量以及所述常识文本的位置嵌入向量进行拼接,获取所述常识文本的句子向量。

4.根据权利要求1所述的句子情感分析方法,其特征在于,所述根据所述常识文本的隐藏层向量以及常识联合注意力算法,获取常识信息特征,包括步骤:根据所述常识文本的常识信息、信息瓶颈特征以及变分瓶颈算法,获取所述常识文本的常识信息的评价参数,其中,所述变分瓶颈算法为:式中, 为评价参数; 为所述变分瓶颈算法的强度参数; 为期望函数;KL为相对熵函数; 为所述近似分布N的先验概率; 为所述近似分布N的近似估计;

根据所述常识文本的常识信息的评价参数,对所述常识文本的常识信息进行评价。

5.根据权利要求1所述的句子情感分析方法,其特征在于:所述获取依存句法树,根据所述待测文本以及依存句法树,获取与所述待测文本相对应的依存句法图,包括步骤:获取依存句法树,将所述待测文本的方面词设置在所述依存句法树的根节点上,其中,所述依存句法树包括子节点与根节点,所述子节点与所述根节点直接连接;

获取所述子节点与根节点的距离,根据所述距离以及预设的距离阈值,去除所述距离大于距离阈值的子节点与根节点的连接关系,获取与所述待测文本相对应的依存句法图。

6.一种句子情感分析的装置,其特征在于,包括:文本获取模块,用于获取待测文本以及与所述待测文本相对应的常识文本,其中,所述待测文本包括若干个句子,所述句子中包括若干个方面词;

第一句子向量获取模块,用于将所述待测文本输入至词嵌入模型,获取待测文本的方面词的词向量以及位置嵌入向量,将所述待测文本的词向量以及位置嵌入向量进行拼接,获取所述待测文本的句子向量;

第二句子向量获取模块,用于根据所述常识文本、待测文本的词向量以及所述词嵌入模型,获取所述常识文本的句子向量;

第一隐藏层向量获取模块,用于将所述待测文本的句子向量输入至第一双向LSTM网络中,获取所述待测文本的隐藏层向量;

第二隐藏层向量获取模块,用于将所述常识文本的句子向量输入至第二双向LSTM网络中,获取所述常识文本的隐藏层向量;

位置信息特征获取模块,用于根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法,获取位置信息特征;

常识信息特征获取模块,用于根据所述常识文本的隐藏层向量以及常识联合注意力算法,获取常识信息特征;

依存句法图获取模块,用于获取依存句法树,根据所述待测文本以及依存句法树,获取与所述待测文本相对应的依存句法图;

句法信息特征获取模块,用于根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中的句法联合注意力算法,获取句法信息特征;

情感分析结果获取模块,用于将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型,对所述信息特征进行拼接融合,获取融合信息特征,将所述融合信息特征输入至Softmax分类网络中,获取所述待测文本的情感分析结果。

7.一种设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的句子情感分析方法的步骤。

8.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的句子情感分析方法的步骤。