欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2022116702691
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于标签嵌入的语句情感分析方法,其特征在于,包括以下步骤:

获取待测语句以及预设的情感分析模型,其中,所述待测语句包括若干个单词,所述单词包括若干个上下文单词以及若干个特定词,所述若干个特定词组合成方面词,所述情感分析模型包括句子编码模块、句法提取模块、句法更新模块、语义提取模块、特征交互模块以及情感分析模块;

将所述待测语句输入至所述句子编码模块中,获取所述待测语句的句子特征表示,其中,所述句子特征表示包括若干个上下文单词的隐藏层向量;

构建所述待测语句的依存句法图,根据所述依存句法图,获得第一邻接矩阵,将所述句子特征表示以及第一邻接矩阵输入至所述句法提取模块中进行特征提取,获得所述待测语句的初始句法特征表示;

采用扰动掩码方法,获得所述若干个上下文单词与所述方面词的句法关联向量,将所述句子特征表示以及所述若干个上下文单词与所述方面词的句法关联向量输入至所述句法更新模块,对所述句子特征表示中若干个上下文单词的隐藏层向量进行更新,获得所述待测语句的更新句法特征表示;

获取所述句子编码模块的若干层的自注意力权重参数矩阵,根据所述句子编码模块的若干层的自注意力权重参数矩阵,构建语义图,根据所述语义图,获得第二邻接矩阵,将所述句子特征表示以及第二邻接矩阵输入至所述语义提取模块中进行特征提取,获得所述待测语句的语义特征表示,其中,所述第二邻接矩阵包括若干个单词之间的语义关联向量;

将所述初始句法特征表示、更新句法特征表示以及语义特征表示输入至所述特征交互模块中,进行特征交互,获得所述待测语句的句法交互特征表示以及语义交互特征表示,并从所述句法交互特征表示以及语义交互特征表示中,分别提取所述方面词对应的句法交互特征向量以及语义交互特征向量;

根据所述方面词对应的句法交互特征向量以及预设的权重分配标签计算算法,获取权重分配标签数据,将所述方面词对应的句法交互特征向量、语义交互特征向量以及权重分配标签数据输入至所述情感分析模块中进行情感分析,获取所述待测语句的预测情感极性,作为所述待测语句的情感分析结果。

2.根据权利要求1所述的基于标签嵌入的语句情感分析方法,其特征在于:所述句法提取模块为第一多层图卷积网络;

将所述句子特征表示以及第一邻接矩阵输入至所述句法提取模块中进行特征提取,获得所述待测语句的初始句法特征表示,包括步骤:将所述句子特征表示作为所述第一多层图卷积网络的首层输入信息数据,根据所述第一邻接矩阵以及预设的初始句法特征计算算法,获得所述第一多层图卷积网络的最后一层的初始句法特征表示,其中,所述初始句法特征计算算法为:式中, 为所述第一多层图卷积网络的第l+1层的初始句法特征表示, 为所述第一多层图卷积网络的第l层的初始句法特征表示, 为非线性激活函数, 为所述第一邻接矩阵, 为所述第一多层图卷积网络的第l层的可训练权重参数矩阵, 为所述第一多层图卷积网络的第l层的偏差参数。

3.根据权利要求1所述的基于标签嵌入的语句情感分析方法,其特征在于,所述采用扰动掩码方法,获得所述若干个上下文单词与所述方面词的句法关联向量,包括步骤:分别对所述待测语句中若干个特定词进行屏蔽处理,获得若干个第一屏蔽语句,基于所述第一屏蔽语句中,分别对所述第一屏蔽语句中若干个上下文单词进行屏蔽处理,获得所述若干个第一屏蔽语句对应的若干个第二屏蔽语句;

将所述若干个第一屏蔽语句,以及所述若干个第一屏蔽语句对应的若干个第二屏蔽语句分别输入至所述句子编码模块中,获得所述若干个第一屏蔽语句的句子特征表示,以及所述若干个第一屏蔽语句对应的若干个第二屏蔽语句的句子特征表示;

基于所述第一屏蔽语句的句子特征表示,以及所述第一屏蔽语句对应的若干个第二屏蔽语句的句子特征表示,根据预设的影响得分计算算法,获得所述待测语句的若干个上下文单词对所述方面词的若干个特定词的影响得分数据,其中,所述影响得分计算算法为:式中, 为方面词中第q个特定词, 为第p个上下文单词, 为第p个上下

文单词对方面词中第q个特定词的影响得分数据, 为对方面词中第q个特定词进行屏蔽处理后的第一屏蔽语句的句子特征表示, 为对方面词中第q个特定词进行屏蔽处理后的第一屏蔽语句对应的,对第p个上下文单词进行屏蔽处理后的第二屏蔽语句;

采用快速选择方法,对所述若干个上下文单词对所述方面词的若干个特定词的影响得分数据进行筛选,获得所述若干个上下文单词与所述若干个特定词之间的句法关联向量,并将同一个上下文单词对应的,与所述若干个特定词之间的句法关联向量进行累加,获得所述若干个上下文单词与所述方面词的句法关联向量。

4.根据权利要求3所述的基于标签嵌入的语句情感分析方法,其特征在于:所述句子特征表示包括若干个特定词的隐藏层向量;

所述将所述句子特征表示以及所述若干个上下文单词与所述方面词的句法关联向量输入至所述句法更新模块,对所述句子特征表示中若干个上下文单词的隐藏层向量进行更新,获得所述待测语句的更新句法特征表示,包括步骤:根据所述若干个上下文单词与方面词的句法关联向量以及预设的句法关联阈值,从所述若干个上下文单词中,提取若干个目标上下文单词,根据所述句子特征表示中若干个目标上下文单词的隐藏层向量、若干个特定词的隐藏层向量以及预设的句法关联特征计算算法,获得所述若干个目标上下文单词与若干个特定词之间的句法关联特征向量,其中,所述句法关联特征计算算法为:式中, 为所述目标上下文单词的位置索引, 为第 个目标上下文单词与第q个特定词之间的句法关联特征向量, 为第 个目标上下文单词的隐藏层向量, 为第q个特定词的隐藏层向量, 为所述句法更新模块中预设的可训练参数矩阵, 为所述句法更新模块中预设的第一可训练权重参数矩阵, 为所述句法更新模块中预设的第二可训练权重参数矩阵;

根据所述若干个特定词的隐藏层向量、所述若干个目标上下文单词与若干个特定词之间的句法关联特征向量以及预设的特征更新计算算法,获得所述若干个目标上下文单词的更新隐藏层向量,根据所述若干个目标上下文单词的更新隐藏层向量,对所述句子特征表示中相应的目标上下文单词的隐藏层向量进行更新,获得所述待测语句的更新句法特征表示,其中,所述特征更新计算算法为:式中, 为第 个目标上下文单词的更新隐藏层向量, 为非线

性激活函数, 为非线性激活函数,N为所述方面词中特定词的集合,k表示为第k个特定词, 为第 个目标上下文单词与第k个特定词之间的句法关联特征向量, 为所述句法更新模块中预设的第三可训练权重参数矩阵。

5.根据权利要求3所述的基于标签嵌入的语句情感分析方法,其特征在于:所述语义提取模块为第二多层图卷积网络;

所述将所述句子特征表示以及第二邻接矩阵输入至所述语义提取模块中进行特征提取,获得所述待测语句的语义特征表示,包括步骤:将所述句子特征表示作为所述第二多层图卷积网络的首层输入信息数据,根据所述第二邻接矩阵以及预设的初始语义特征计算算法,获得所述第二多层图卷积网络的最后一层的初始语义特征表示,其中,所述初始语义特征计算算法为:式中, 为所述第二多层图卷积网络的第l+1层的初始语义特征表示, 为所述第二多层图卷积网络的第l层的初始语义特征表示, 为非线性激活函数,为所述第二邻接矩阵, 为所述第二多层图卷积网络的第l层的可训练权重参数矩阵, 为所述第二多层图卷积网络的第l层的偏差参数;

根据所述初始语义特征表示、句子特征表示以及预设的语义信息补充算法,获得所述语义特征表示,其中,所述语义信息补充算法为:式中, 为所述语义特征表示,β为超参数, 为所述句子特征表示。

6.根据权利要求1所述的基于标签嵌入的语句情感分析方法,其特征在于,所述将所述初始句法特征表示、更新句法特征表示以及语义特征表示输入至所述特征交互模块中,进行特征交互,获得所述待测语句的句法交互特征表示以及语义交互特征表示,包括步骤:根据所述初始句法特征表示、更新句法特征表示以及预设的第一特征交互算法,获得第一交互特征表示,其中,所述第一特征交互算法为:式中, 为所述第一交互特征表示,softmax()为归一化函数, 为所述初始句法特征表示, 为所述更新句法特征表示, 为所述特征交互模块的第一可训练权重参数矩阵;

根据所述第一交互特征表示、语义特征表示以及预设的第二特征交互算法,获得所述句法交互特征表示,其中,所述第二特征交互算法为:式中, 为所述句法交互特征表示, 为所述语义特征表示, 为所述

特征交互模块的第二可训练权重参数矩阵;

根据所述第一交互特征表示、语义特征表示以及预设的第三特征交互算法,获得所述语义交互特征表示,其中,所述第三特征交互算法为:式中, 为所述语义交互特征表示, 为所述特征交互模块的第三可训练权重参数矩阵。

7.根据权利要求1所述的基于标签嵌入的语句情感分析方法,其特征在于,所述将所述方面词对应的句法交互特征向量、语义交互特征向量以及权重分配标签数据输入至所述情感分析模块中进行情感分析,获取所述待测语句的预测情感极性,作为所述待测语句的情感分析结果,包括步骤:根据所述方面词对应的句法交互特征向量、语义交互特征向量、权重分配标签数据以及预设的预测情感极性向量计算算法,获取所述待测语句的预测情感极性向量,根据所述预测情感极性向量,获取概率最大的维度对应的情感极性,作为所述待测语句的情感分析结果,其中,所述情感极性向量计算算法为:式中,p(a)为所述预测情感极性向量,γ为所述权重分配标签数据, 为所述方面词对应的语义交互特征向量, 为所述方面词对应的句法交互特征向量, 为所述情感分析模块的第一可训练权重参数矩阵, 为所述情感分析模块的第二可训练权重参数矩阵,softmax()为归一化函数。

8.根据权利要求1所述的基于标签嵌入的语句情感分析方法,其特征在于,还包括步骤:训练所述情感分析模型,所述训练所述情感分析模型,包括步骤:获取训练语句集、情感标签集以及句法可靠标签集,其中,所述训练语句集中包括若干个训练语句,所述训练语句包括若干个单词,所述单词包括若干个上下文单词以及若干个特定词,所述若干个特定词组合成方面词,所述情感标签集包括若干个训练语句的真实情感极性向量,所述句法可靠标签集包括若干个训练语句的句法可靠标签数据;

将所述训练语句集输入至待训练的情感分析模型中,获得所述若干个训练语句的方面词的句法交互特征向量、语义交互特征向量,以及所述若干个训练语句的预测情感极性向量以及预测情感极性;

基于所述预测情感极性,构建正例句法交互特征集、正例语义交互特征集、负例句法交互特征集以及负例语义交互特征集,其中,所述正例句法交互特征集包括相同预测情感极性的若干个训练语句的方面词的句法交互特征向量,所述正例语义交互特征集包括相同预测情感极性的若干个训练语句的方面词的语义交互特征向量,所述负例句法交互特征集包括不同预测情感极性的若干个训练语句的方面词的句法交互特征向量,所述负例语义交互特征集包括不同预测情感极性的若干个训练语句的方面词的语义交互特征向量;

根据所述正例句法交互特征集样本集、负例句法交互特征集以及预设的第一损失函数,分别获取所述正例句法交互特征集样本集对应的第一损失值以及所述负例句法交互特征集样本集对应的第一损失值,进行累加,获得第一总损失值,其中,所述第一损失函数为:式中, 为所述第一损失值, 为所述训练语句的数目,z、t以及r均为所述训练语句的位置索引, 为第z个训练语句的预测情感极性, 为第t个训练语句的预测情感极性, 为第z个训练语句的方面词的句法交互特征向量, 为第t个训练语句的方面词的句法交互特征向量, 为第r个训练语句的方面词的句法交互特征向量,sim()为余弦相似度函数,τ为温度系数, 为指示函数,B为预设的批次;

根据所述正例语义交互特征集样本集、负例语义交互特征集以及预设的第二损失函数,分别获取所述正例语义交互特征集样本集对应的第二损失值以及所述负例语义交互特征集样本集对应的第二损失值,进行累加,获得第二总损失值,其中,所述第二损失函数为:式中, 为所述第二损失值, 为第z个训练语句的方面词的语义交互特征向量, 为第t个训练语句的方面词的语义交互特征向量, 为第r个训练语句的方面词的语义交互特征向量;

构建所述待训练的情感分析模块的第一标签嵌入矩阵以及第二标签嵌入矩阵,根据所述第一标签嵌入矩阵、第二标签嵌入矩阵以及预设的第三损失函数,获取第三损失值,其中,所述第三损失函数为:式中, 为所述第三损失值, 为预设的第一标签嵌入矩阵, 为预设的第二标签嵌入矩阵;

根据所述若干个训练语句的方面词的句法交互特征向量、所述若干个训练语句的句法可靠标签数据、第一标签嵌入矩阵、第二标签嵌入矩阵以及预设的第四损失函数,获取第四损失值,其中,所述第四损失函数为:式中, 为所述第四损失值,s和c为所述训练语句的位置索引, 为第s个训练语句的方面词的句法交互特征向量, 为第c个训练语句的方面词的句法交互特征向量,为第s个训练语句的句法可靠标签数据, 为标签嵌入矩阵的索引, 为第 标签嵌入矩阵;

根据所述若干个训练语句的预测情感极性向量、真实情感极性向量以及预设的第五损失函数,获取第五损失值,其中,所述第五损失函数为:式中, 为所述第五损失值, 为所述训练语句的真实情感极性向量, 为所述训练语句的预测情感极性向量;

根据所述第一总损失值、第二总损失值、第三损失值、第四损失值、第五损失值以及预设的总损失函数,获取总损失值,根据所述总损失值,对所述待训练的情感分析模型进行优化训练,获得训练好的情感分析模型,其中,所述总损失函数为:式中, 为所述总损失值, 为所述第一总损失值, 为所述第二总损失值,为预设的第一超参数, 为预设的第二超参数, 为预设的第三超参数, 为差异化正直项, 为所述情感分析模型的所有可训练参数。

9.一种基于标签嵌入的语句情感分析装置,其特征在于,包括:

获取模块,用于获取待测语句以及预设的情感分析模型,其中,所述待测语句包括若干个单词,所述单词包括若干个上下文单词以及若干个特定词,所述若干个特定词组合成方面词,所述情感分析模型包括句子编码模块、句法提取模块、句法更新模块、语义提取模块、特征交互模块以及情感分析模块;

句子编码模块,用于将所述待测语句输入至所述句子编码模块中,获取所述待测语句的句子特征表示,其中,所述句子特征表示包括若干个上下文单词的隐藏层向量;

句法特征提取模块,用于构建所述待测语句的依存句法图,根据所述依存句法图,获得第一邻接矩阵,将所述句子特征表示以及第一邻接矩阵输入至所述句法提取模块中进行特征提取,获得所述待测语句的初始句法特征表示;

句法特征更新模块,用于采用扰动掩码方法,获得所述若干个上下文单词与所述方面词的句法关联向量,将所述句子特征表示以及所述若干个上下文单词与所述方面词的句法关联向量输入至所述句法更新模块,对所述句子特征表示中若干个上下文单词的隐藏层向量进行更新,获得所述待测语句的更新句法特征表示;

语义特征提取模块,用于获取所述句子编码模块的若干层的自注意力权重参数矩阵,根据所述句子编码模块的若干层的自注意力权重参数矩阵,构建语义图,根据所述语义图,获得第二邻接矩阵,将所述句子特征表示以及第二邻接矩阵输入至所述语义提取模块中进行特征提取,获得所述待测语句的语义特征表示,其中,所述第二邻接矩阵包括若干个单词之间的语义关联向量;

特征交互模块,用于将所述初始句法特征表示、更新句法特征表示以及语义特征表示输入至所述特征交互模块中,进行特征交互,获得所述待测语句的句法交互特征表示以及语义交互特征表示,并从所述句法交互特征表示以及语义交互特征表示中,分别提取所述方面词对应的句法交互特征向量以及语义交互特征向量;

情感分析模块,用于根据所述方面词对应的句法交互特征向量以及预设的权重分配标签计算算法,获取权重分配标签数据,将所述方面词对应的句法交互特征向量、语义交互特征向量以及权重分配标签数据输入至所述情感分析模块中进行情感分析,获取所述待测语句的预测情感极性,作为所述待测语句的情感分析结果。

10.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的基于标签嵌入的语句情感分析方法的步骤。