利索能及
我要发布
收藏
专利号: 2024101561098
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用户信息增强的长文本细粒度情感分析方法,其特征在于,应用于情感分析模型,所述情感分析模型包括全局信息引导的编码模块、用户表示的学习和集成模块、分类模块、融合对比学习的总代价计算模块;

所述全局信息引导的编码模块包括一个词嵌入层和多个层次Transformer子模块,每个层次Transformer子模块包括一个句子级Transformer层和一个文档级Transformer层;

所述方法包括:

在全局信息引导的编码模块中,通过词嵌入层得到词和句子的初始语义表示,再在文档级全局信息的引导下,句子级Transformer层通过自注意力机制建模词与词之间、词与句子之间、词与文档之间的交互,优化词、句子和文档的语义表示,文档级Transformer层在句子级Transformer层输出的句子和文档表示的基础上,通过自注意力机制建模句子之间、句子与文档之间的交互,继续优化句子和文档的语义表示,最后基于各个层次Transformer子模块的输出计算得到文档 的最终语义表示 ;

在用户表示的学习和集成模块中,通过一个共享网络在相似用户之间共享信息,该共享网络是一个多层前向神经网络,以用户的初始语义表示为输入,输出用户的最终语义表示,进而把用户的最终语义表示集成到全局信息引导的编码模块的所有句子级Transformer层和文档级Transformer层中,以建模用户与词、用户与句子以及用户与文档之间的关系;

在分类模块中,根据文档 的最终语义表示 ,计算得到分类结果 ,分类结果 是一个R维的向量,R表示情感类别的类别总数;

通过融合对比学习的总代价计算模块计算情感分析模型训练的总代价,引入对比学习策略缩小正训练实例对之间的语义表示距离,同时拉大负训练实例对之间的语义表示距离;

所述词嵌入层满足以下条件式:

 ;

其中, 为文档 中的句子 的初始语义向量表示, 、 分别为句子中第1个词、第 个词的初始语义向量表示, 为Bert类预训练语言模型, 为Bert类预训练语言模型中的句子标识符, 表示拼接 与句子 中的词形成的输入序列, 为句子 中词的个数;

句子级Transformer层满足以下条件式:

 ;

其中, 、 分别为第 个层次Transformer子模块中融合了相应词信息的文档、句子 的表示; 、 分别为第 个层次Transformer子模块输出的句子 中第1个词、第 个词的词表示; 表示第 个层次Transformer子模块中的句子级Transformer层; 、 分别为第 个层次Transformer子模块输出的文档、句子 的表示; 、 分别为第 个层次Transformer子模块输出的句子中第1个词、第 个词的词表示; 为经过共享网络后得到的用户 的最终语义表示;

文档级Transformer层满足以下条件式:

;

;

其中, 为第 个层次Transformer子模块输出的文档表示; 、 分别为第个层次Transformer子模块输出的第1个、第M个句子表示; 表示第 个层次Transformer子模块中的文档级Transformer层; 为经过最大池化操作计算得到的文档的中间表示; 为融合了句子中词信息的第1个句子表示, 为融合了句子中的词信息的第M个句子表示; 表示最大池化操作; 为融合了第1个句子中的词信息的文档表示; 为融合了第M个句子中的词信息的文档表示。

2.根据权利要求1所述的用户信息增强的长文本细粒度情感分析方法,其特征在于,全局信息引导的编码模块得到文档 的最终语义表示 的表达式为: ;

其中, 、 分别表示第1个、第K个层次Transformer子模块输出的文档 的表示。

3.根据权利要求2所述的用户信息增强的长文本细粒度情感分析方法,其特征在于,用户表示的学习和集成模块满足以下条件式:;

其中, 表示用户表示的学习和集成模块的多层前向神经网络, 表示用户 的初始语义表示; 、 、 分别为自注意力机制中的查询、键、值; 、 、分别为第1头、第 头、第 头自注意力机制计算的结果;tanh和Softmax分别为双曲函数和归一化指数函数; 为由输入向量序列构成的矩阵; 、 、 、、 为需要学习的参数矩阵; 为 个用户语义表示构成的矩阵;T表示矩阵转置操作; 表示句子级Transformer层的多层前向神经网络。

4.根据权利要求3所述的用户信息增强的长文本细粒度情感分析方法,其特征在于,分类模块满足以下条件式: ;

其中, 表示分类模块的多层前向神经网络。

5.根据权利要求4所述的用户信息增强的长文本细粒度情感分析方法,其特征在于,所述融合对比学习的总代价计算模块包括交叉熵代价计算单元和对比学习代价计算单元;

所述交叉熵代价计算单元满足以下条件式:

其中, 表示交叉熵代价;D表示训练数据集; 表示训练数据集D中的文档 属于第个情感类别的真实概率; 表示文档 的属于第 个情感类别的预测概率;

所述对比学习代价计算单元满足以下条件式:

其中, 表示对比学习代价;B为训练情感分析模型时的分块; 为分块B中文档 的正实例; 为 的语义向量表示; 为分块B中文档 的不完全正实例; 为 的语义向量表示; 为分块B中文档 的负实例; 为 的语义向量表示; 为不完全正实例的权重;exp和sim分别为指数函数和向量相似度计算函数; 为文档 的三类实例对的相似度之和;

所述融合对比学习的总代价计算模块满足以下条件式: ;

其中, 表示融合对比学习的总代价, 表示对比学习代价的权重系数,在训练模型的过程中,通过最小化训练数据集D上的总代价 ,引导情感分析模型参数的更新,收敛后得到的模型即为最终的情感分析模型。