欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2023101005124
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种语句情感分析方法,其特征在于,包括以下步骤:

获取预设批次的训练语句集以及情感标签集,其中,所述训练语句集中包括若干个训练语句,所述训练语句包括若干个单词,所述单词包括若干个上下文单词以及方面词,所述情感标签集包括若干个训练语句的真实情感向量以及真实情感极性;

获取待训练的情感分析模型,其中,所述待训练的情感分析模型包括句子编码模块、语义图卷积模块、句法图卷积模块、特征交互模块以及情感分析模块,其中,所述语义图卷积模块包括第一多层图卷积网络,所述句法图卷积模块包括第二多层图卷积网络;

将所述训练语句集输入至所述句子编码模块中,获取若干个所述训练语句的句子特征表示;

将若干个所述训练语句的句子特征表示输入至所述语义图卷积模块中,根据若干个所述训练语句的句子特征表示以及预设的自注意力计算算法,构建若干个所述训练语句的语义邻接矩阵,其中,所述自注意力计算算法为:式中, 为所述语义邻接矩阵,softmax为归一化函数, 为所述句子特征表示,为所述语义图卷积模块的第一可训练权重参数, 为所述语义图卷积模块的第二可训练权重参数,d为维度参数;

分别将若干个所述训练语句的句子特征表示作为所述第一多层图卷积网络的首层输入数据,根据若干个所述训练语句的语义邻接矩阵以及预设的语义特征计算算法,获得若干个所述训练语句的语义特征表示,其中,所述语义特征计算算法为:式中, 为所述第一多层图卷积网络的第l+1层的语义特征表示, 为所述第一多层图卷积网络的第l层的语义特征表示, 为非线性激活函数, 为所述第一多层图卷积网络的第l层的可训练权重参数矩阵, 为所述第一多层图卷积网络的第l层的偏差参数;

构建若干个所述训练语句的依存句法图,根据若干个所述训练语句的初始句法图,构建若干个所述训练语句的第一句法邻接矩阵,所述第一句法邻接矩阵包括若干个单词节点之间的句法依赖数据,将所述句子特征表示以及第一句法邻接矩阵输入至所述句法图卷积模块中,将若干个所述训练语句的第一句法邻接矩阵中若干个单词之间的句法依赖数据转换为相应的句法依赖向量,根据预设的方面感知注意力算法,获得若干个所述训练语句的若干个单词之间的注意力系数,其中,所述方面感知注意力算法为:式中,i和j为单词的索引参数, 为第i个单词节点与第j个单词节点之间的注意力系数, 为第i个单词节点与第j个单词节点之间的句法依赖向量, 为预设的第一可训练权重参数矩阵, 为预设的第二可训练权重参数矩阵, 为预设的第一偏置参数, 为预设的第二偏置参数, 为单词节点数目;

根据若干个所述训练语句的方面词与若干个上下文单词之间的注意力系数,对若干个所述训练语句的第一句法邻接矩阵中相应的所述方面词与若干个上下文单词之间的句法依赖数据进行更新,获得若干个所述训练语句的第二句法邻接矩阵;

分别将若干个所述训练语句的句子特征表示作为所述第二多层图卷积网络的首层输入数据,根据若干个所述训练语句的第二句法邻接矩阵以及预设的句法特征计算算法,获得若干个所述训练语句的句法特征表示,其中,所述句法特征计算算法为:式中, 为所述第二多层图卷积网络的第l+1层的句法特征表示, 为所述第二多层图卷积网络的第l层的句法特征表示, 为非线性激活函数, 为所述第二句法邻接矩阵, 为所述第二多层图卷积网络的第l层的可训练权重参数矩阵, 为所述第二多层图卷积网络的第l层的偏差参数;

将若干个所述训练语句的语义特征表示以及句法特征表示输入至所述特征交互模块中进行特征交互,获得若干个所述训练语句的方面词对应的句法交互特征向量以及语义交互特征向量;

将同一个训练语句的方面词对应的句法交互特征向量以及语义交互特征向量进行拼接,获得若干个所述训练语句的拼接特征向量,将若干个所述训练语句的拼接特征向量输入至所述情感分析模块中进行情感分析,获取若干个所述训练语句的预测情感向量以及预测情感极性;

采用匿名游走方法,对若干个所述训练语句的依存句法图进行句法结构信息提取,获取若干个所述训练语句的句法结构特征数据;

根据若干个所述训练语句的预测情感向量、预测情感极性、真实情感向量、真实情感极性、句法交互特征表示以及语义交互特征表示以及句法结构特征数据以及预设的损失函数,对所述待训练的情感分析模型进行训练,获得目标情感分析模型;

获取待测语句,将所述待测语句输入至所述目标情感分析模型中,获得所述待测语句的预测情感极性,作为所述待测语句的情感分析结果。

2.根据权利要求1所述的语句情感分析方法,其特征在于:

所述初始句法图包括若干个单词节点,所述单词节点包括方面词节点;

所述采用匿名游走方法,对若干个所述训练语句的依存句法图进行句法结构信息提取,获取若干个所述训练语句的句法结构特征数据,包括步骤:根据预设的游走步长,以所述方面词节点作为起始点,分别对若干个所述训练语句的依存句法图上单词节点进行遍历,获取若干个所述训练语句的随机游走集,其中,所述随机游走集包括若干条随机游走;

对若干个所述训练语句的随机游走集合中的若干条随机游走进行匿名游走转换,获取若干条随机游走对应的匿名游走,对同一个训练语句的若干条随机游走对应的匿名游走进行组合,构建若干个所述训练语句的匿名游走集,其中,所述匿名游走集包括若干条匿名游走;

根据若干个所述训练语句的随机游走集、匿名游走集以及预设的概率分布计算算法,获得若干个所述训练语句的概率分布数据,作为所述句法结构特征数据,其中,所述概率分布计算算法为:式中,I为所述游走步长,t为匿名游走的索引,c为随机游走的索引, 为游走步长为I的第t条匿名游走, 为游走步长为I的第t条匿名游走的概率值, 为第c条随机游走, 为所述随机游走集, 为第c条随机游走对应的匿名游走, 为指示函数, 为随机游走的数目, 为匿名游走的数目, 为所述概率分布数据。

3.根据权利要求1所述的语句情感分析方法,其特征在于,所述将若干个所述训练语句的语义特征表示以及句法特征表示输入至所述特征交互模块中进行特征交互,获得若干个所述训练语句的方面词对应的句法交互特征向量以及语义交互特征向量,包括步骤:根据若干个所述训练语句的语义特征表示、句法特征表示以及预设的双仿射特征交互算法,获得若干个所述训练语句的语义交互特征表示以及句法交互特征表示,其中,所述双仿射特征交互算法为:式中, 为所述语义交互特征表示,softmax()为归一化函数, 为所述句法交互特征表示, 为所述特征交互模块的第一可训练权重参数矩阵; 为所述特征交互模块的第二可训练权重参数矩阵;

从所述句法交互特征表示以及语义交互特征表示中,分别提取所述方面词对应的句法交互特征向量以及语义交互特征向量,获得若干个所述训练语句的方面词对应的句法交互特征向量以及语义交互特征向量。

4.根据权利要求1所述的语句情感分析方法,其特征在于,所述将若干个所述训练语句的拼接特征向量输入至所述情感分析模块中进行情感分析,获取若干个所述训练语句的预测情感向量以及预测情感极性,包括步骤:根据若干个所述训练语句的拼接特征向量以及预设的预测情感向量计算算法,获取所述若干个所述训练语句的预测情感向量,其中,所述预测情感向量计算算法为:式中, 为所述预测情感向量,q为所述方面词的拼接特征向量, 为所述情感分析模块的可训练权重参数矩阵,softmax()为归一化函数, 为所述情感分析模块的偏置参数;

根据所述若干个所述训练语句的预测情感向量,获取概率最大的维度对应的情感极性,获取若干个所述训练语句的预测情感极性。

5.根据权利要求4所述的语句情感分析方法,其特征在于,所述根据若干个所述训练语句的预测情感向量、预测情感极性、真实情感向量、真实情感极性、句法交互特征表示以及语义交互特征表示以及句法结构特征数据以及预设的损失函数,对所述待训练的情感分析模型进行训练,获得目标情感分析模型,包括步骤:根据所述若干个训练语句的预测情感极性、真实情感极性以及预设的第一损失函数,获得第一损失值,其中,所述第一损失函数为:式中, 为所述第一损失值,B为所述批次中训练语句的数目,u为所述训练语句的索引,z为预设的情感类别的索引,基于所述预测情感极性,构建正例训练语句特征集以及负例训练语句特征集,其中,所述正例训练语句特征集包括相同预测情感极性的若干个训练语句的方面词的拼接特征向量以及句法结构特征数据,所述负例训练语句特征集包括不同预测情感极性的若干个训练语句的方面词的拼接特征向量以及句法结构特征数据;

根据所述正例训练语句特征集、负例训练语句特征集以及预设的第二损失函数,获得第二损失值,其中,所述第二损失函数为:式中, 为所述第二损失值,e、x、k、m均为所述训练语句的索引, 为第e个训练语句的方面词的拼接特征向量, 为第x个训练语句的方面词的拼接特征向量, 为第e个训练语句的概率分布数据, 为第x个训练语句的概率分布数据,KL()为相对熵计算函数, 为中间参数,P为所述正例训练语句特征集的拼接特征向量的数量,sim()为余弦相似度函数,τ为温度系数, 为分布相似度参数;

根据所述第一损失值、第二损失值以及预设的总损失函数,获取总损失值,根据所述总损失值,对所述待训练的情感分析模型进行优化训练,获得训练好的情感分析模型,其中,所述总损失函数为:式中, 为所述待训练的情感分析模型中所有可训练参数, 为所述总损失值,为所述第二损失值, 为预设的超参数。

6.一种基于句法结构增强的语句情感分析装置,其特征在于,包括:

数据获取模块,用于获取预设批次的训练语句集以及情感标签集,其中,所述训练语句集中包括若干个训练语句,所述训练语句包括若干个单词,所述单词包括若干个上下文单词以及方面词,所述情感标签集包括若干个训练语句的真实情感向量以及真实情感极性;

模型获取模块,用于获取待训练的情感分析模型,其中,所述待训练的情感分析模型包括句子编码模块、语义图卷积模块、句法图卷积模块、特征交互模块以及情感分析模块,其中,所述语义图卷积模块包括第一多层图卷积网络,所述句法图卷积模块包括第二多层图卷积网络;

句子编码模块,用于将所述训练语句集输入至所述句子编码模块中,获取若干个所述训练语句的句子特征表示;

语义特征提取模块,用于将若干个所述训练语句的句子特征表示输入至所述语义图卷积模块中,根据若干个所述训练语句的句子特征表示以及预设的自注意力计算算法,构建若干个所述训练语句的语义邻接矩阵,其中,所述自注意力计算算法为:式中, 为所述语义邻接矩阵,softmax为归一化函数, 为所述句子特征表示,为所述语义图卷积模块的第一可训练权重参数, 为所述语义图卷积模块的第二可训练权重参数,d为维度参数;

分别将若干个所述训练语句的句子特征表示作为所述第一多层图卷积网络的首层输入数据,根据若干个所述训练语句的语义邻接矩阵以及预设的语义特征计算算法,获得若干个所述训练语句的语义特征表示,其中,所述语义特征计算算法为:式中, 为所述第一多层图卷积网络的第l+1层的语义特征表示, 为所述第一多层图卷积网络的第l层的语义特征表示, 为非线性激活函数, 为所述第一多层图卷积网络的第l层的可训练权重参数矩阵, 为所述第一多层图卷积网络的第l层的偏差参数;

句法特征提取模块,用于构建若干个所述训练语句的依存句法图,根据若干个所述训练语句的初始句法图,构建若干个所述训练语句的第一句法邻接矩阵,所述第一句法邻接矩阵包括若干个单词节点之间的句法依赖数据,将所述句子特征表示以及第一句法邻接矩阵输入至所述句法图卷积模块中,将若干个所述训练语句的第一句法邻接矩阵中若干个单词之间的句法依赖数据转换为相应的句法依赖向量,根据预设的方面感知注意力算法,获得若干个所述训练语句的若干个单词之间的注意力系数,其中,所述方面感知注意力算法为:式中,i和j为单词的索引参数, 为第i个单词节点与第j个单词节点之间的注意力系数, 为第i个单词节点与第j个单词节点之间的句法依赖向量, 为预设的第一可训练权重参数矩阵, 为预设的第二可训练权重参数矩阵, 为预设的第一偏置参数, 为预设的第二偏置参数, 为单词节点数目;

根据若干个所述训练语句的方面词与若干个上下文单词之间的注意力系数,对若干个所述训练语句的第一句法邻接矩阵中相应的所述方面词与若干个上下文单词之间的句法依赖数据进行更新,获得若干个所述训练语句的第二句法邻接矩阵;

分别将若干个所述训练语句的句子特征表示作为所述第二多层图卷积网络的首层输入数据,根据若干个所述训练语句的第二句法邻接矩阵以及预设的句法特征计算算法,获得若干个所述训练语句的句法特征表示,其中,所述句法特征计算算法为:式中, 为所述第二多层图卷积网络的第l+1层的句法特征表示, 为所述第二多层图卷积网络的第l层的句法特征表示, 为非线性激活函数, 为所述第二句法邻接矩阵, 为所述第二多层图卷积网络的第l层的可训练权重参数矩阵, 为所述第二多层图卷积网络的第l层的偏差参数;

特征交互模块,用于将若干个所述训练语句的语义特征表示以及句法特征表示输入至所述特征交互模块中进行特征交互,获得若干个所述训练语句的方面词对应的句法交互特征向量以及语义交互特征向量;

情感分析模块,用于将同一个训练语句的方面词对应的句法交互特征向量以及语义交互特征向量进行拼接,获得若干个所述训练语句的拼接特征向量,将若干个所述训练语句的拼接特征向量输入至所述情感分析模块中进行情感分析,获取若干个所述训练语句的预测情感向量以及预测情感极性;

句法结构特征提取模块,用于采用匿名游走方法,对若干个所述训练语句的依存句法图进行句法结构信息提取,获取若干个所述训练语句的句法结构特征数据;

模型训练模块,用于根据若干个所述训练语句的预测情感向量、预测情感极性、真实情感向量、真实情感极性、句法交互特征表示以及语义交互特征表示以及句法结构特征数据以及预设的损失函数,对所述待训练的情感分析模型进行训练,获得目标情感分析模型;

情感预测模块,用于获取待测语句,将所述待测语句输入至所述目标情感分析模型中,获得所述待测语句的预测情感极性,作为所述待测语句的情感分析结果。

7.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的语句情感分析方法的步骤。