利索能及
我要发布
收藏
专利号: 2022114330321
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多任务学习的言论分析方法,其特征在于,包括以下步骤:

获取语义训练数据集以及情感训练数据集,其中,所述语义训练数据集包括若干个第一训练语句,所述情感训练数据集包括若干个第二训练语句;

获取预设的言论分析模型,其中,所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块,所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块;

将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理,获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示;

将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取,获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示;

根据所述若干个第一训练语句的句子特征表示、语义特征表示,以及若干个第二训练语句的句子特征表示、情感特征表示,获得所述多任务学习模块输出的第一损失值;

将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤,获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示;

将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块,获得所述若干个第一训练语句的预测语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量;

获取语义标签集以及情感标签集,所述语义标签集包括若干个第一训练语句的真实语义概率分布向量,所述情感标签集包括若干个第二训练语句的情感语义概率分布向量,根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量,获得所述识别模块输出的第二损失值;

根据所述第一损失值以及第二损失值,对所述言论分析模型进行训练,获得目标言论分析模型;

获取待分析语句,将所述待分析语句输入至所述目标言论分析模型,获得所述待分析语句的预测语义概率分布向量,根据所述待分析语句的预测语义概率分布向量,获取所述待分析语句的言论分析结果。

2.根据权利要求1所述的基于多任务学习的言论分析方法,其特征在于:所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块;所述第一训练语句以及第二训练语句均包括若干个单词,所述句子特征表示中包括若干个单词的隐藏层向量;所述语义任务模块、情感任务模块以及共享任务模块均包括若干个全连接层子网络,所述若干个全连接层子网络均包括相应的特征提取算法;

所述将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取,获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示,包括步骤:将所述若干个第一训练语句的第一句子特征表示输入至所述语义任务模块中,根据预设的第一特征计算算法,获得所述若干个第一训练语句的初始语义特征表示,其中,所述第一特征计算算法为:式中,k表示为语义任务模块,m表示为第m个全连接子网络, 表示为语义任务模块中第m个全连接层子网络, 为语义任务模块的第m个全连接层子网络的子语义特征表示,i为第i个单词, 为语义任务模块的全连接层子网络的数目, 为第i个单词的隐藏层向量, 为语义任务模块对应的第i个单词的可训练权重参数, 为语义任务模块对应的第i个单词的可训练偏置参数, 为语义任务模块对应的初始语义特征表示,n为单词的数目;

将所述若干个第二训练语句的句子特征表示输入至所述情感任务模块中,根据预设的第二特征计算算法,获得所述若干个第二训练语句的初始情感特征表示,其中,所述第二特征计算算法为:式中,q表示为情感任务模块,m表示为第m个全连接子网络, 表示为情感任务模块中第m个全连接层子网络, 为情感任务模块的第m个全连接层子网络的子情感特征表示,i为第i个单词, 为情感任务模块的全连接层子网络的数目, 为情感任务模块对应的第i个单词的可训练权重参数, 为情感任务模块对应的第i个单词的可训练偏置参数, 为情感任务模块对应的初始情感特征表示;

将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示分别输入至所述共享任务模块中,根据预设的第三特征计算算法,获得所述若干个第一训练语句以及若干个第二训练语句的共享特征表示,其中,所述第三特征计算算法为:式中,s表示为共享任务模块, 表示为共享任务模块中第m个全连接层子网络,为共享任务模块的第m个全连接层子网络的子语义特征表示, 为共享任务模块的全连接层子网络的数目, 为共享任务模块对应的第i个单词的可训练权重参数, 为共享任务模块对应的第i个单词的可训练偏置参数, 为共享任务模块对应的初始语义特征表示;

将同一个第一训练语句的初始语义特征表示以及共享特征表示进行拼接处理,获得所述若干个第一训练语句的语义特征表示,将同一第二训练语句的初始情感特征表示以及共享特征表示进行拼接处理,获得所述若干个第二训练语句的情感特征表示,其中,所述语义特征表示为:式中, 为所述语义特征表示;

所述情感特征表示为:

式中, 为所述情感特征表示。

3.根据权利要求1所述的基于多任务学习的言论分析方法,其特征在于,所述根据所述若干个第一训练语句的句子特征表示、语义特征表示,以及若干个第二训练语句的句子特征表示、情感特征表示,获得所述多任务学习模块输出的第一损失值,包括步骤:获取关键词信息,其中,所述关键词信息包括所述若干个第一训练语句中若干个单词的关键词信息,以及所述若干个第二训练语句中若干个单词的关键词信息;

根据所述关键词信息,分别对所述若干个第一训练语句以及若干个第二训练语句的句子特征表示中相应的单词的隐藏层向量进行屏蔽处理以及线性变换,构建所述若干个第一训练语句以及若干个第二训练语句的正例特征表示以及负例特征表示,根据所述若干个第一训练语句以及若干个第二训练语句的句子特征表示、正例特征表示、负例特征表示以及预设的第一损失函数,获取第一损失值,其中,所述第一损失函数为:式中, 为所述第一损失值,N为单词的数目,j以及t均为单词的位置索引, 为所述句子特征表示中第j个单词的隐藏层向量,为所述正例特征表示中第j个单词的隐藏层向量, 为所述正例特征表示中第t个单词的隐藏层向量, 为所述负例特征表示中第t个单词的隐藏层向量, 为余弦相似度函数,τ为预设的温度系数。

4.根据权利要求1所述的基于多任务学习的言论分析方法,其特征在于,所述将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤,获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示,包括步骤:根据所述若干个第一训练语句的句子特征表示、语义特征表示以及预设的第一特征过滤算法,获得所述若干个第一训练语句的语义特征过滤表示,其中,所述第一特征过滤算法为:式中, 为所述第一训练语句的平行分量特征表示,H为所述句子特征表示,为所述第一训练语句的正交分量特征表示, 为所述第一训练语句的权重特征表示, 为所述特征过滤模块的第一可训练权重参数, 为所述语义特征过滤表示,为拼接处理函数;

根据所述若干个第二训练语句的句子特征表示、情感特征表示以及预设的第二特征过滤算法,获得所述若干个第二训练语句的情感特征过滤表示,其中,所述第二特征过滤算法为:式中, 为所述第二训练语句的平行分量特征表示,H为所述句子特征表示,为所述第二训练语句的正交分量特征表示, 为所述第二训练语句的权重特征表示, 为所述特征过滤模块的第二可训练权重参数; 为所述情感特征过滤表示。

5.根据权利要求1所述的基于多任务学习的言论分析方法,其特征在于,所述将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块,获得所述若干个第一训练语句的预测语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量,包括步骤:根据所述若干个第一训练语句的语义特征过滤表示以及预设的预测语义概率分布向量计算算法,获得所述若干个第一训练语句的预测语义概率分布向量,其中,所述预测语义概率分布向量计算算法为:式中, 为所述预测语义概率分布向量, 为归一化函数;

根据所述若干个第二训练语句的情感特征过滤表示以及预设的预测情感概率分布向量计算算法,获得所述若干个第二训练语句的预测情感概率分布向量,其中,所述预测情感概率分布向量计算算法为:式中, 为所述预测情感概率分布向量。

6.根据权利要求1所述的基于多任务学习的言论分析方法,其特征在于,所述根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量,获得所述识别模块输出的第二损失值,包括步骤:获取所述若干个第一训练语句以及若干个第二训练语句的训练类型信息,其中,所述训练类型信息用于指示第一训练语句以及第二训练语句的训练类型;

根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量,以及与所述训练类型信息相应的第二损失函数,获取第二损失值。

7.根据权利要求6所述的基于多任务学习的言论分析方法,其特征在于:所述训练类型信息包括回归任务训练类型信息以及分类任务训练类型信息;

所述根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量,以及与所述训练类型信息相应的第二损失函数,获取第二损失值,包括步骤:若所述若干个第一训练语句的训练类型信息为回归任务训练类型信息,根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量以及预设的均方损失函数,获取若干个语义回归损失值;

若所述若干个第二训练语句的训练类型信息为回归任务训练类型信息,根据所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量以及预设的均方损失函数,获取若干个情感回归损失值;

若所述若干个第一训练语句的训练类型信息为分类任务训练类型信息,根据所述若干个第二训练的预测语义概率分布向量、真实语义概率分布向量以及与预设的交叉熵损失函数,获取若干个语义分类损失值;

若所述若干个第二训练语句的训练类型信息为分类任务训练类型信息,根据所述若干个第二训练的预测情感概率分布向量、真实情感概率分布向量以及与预设的交叉熵损失函数,获取若干个情感分类损失值;

将所述若干个语义回归损失值、情感回归损失值、语义分类损失值以及情感分类损失值进行累加,获取第二损失值。

8.一种基于多任务学习的言论分析装置,其特征在于,包括:

数据获取模块,用于获取语义训练数据集以及情感训练数据集,其中,所述语义训练数据集包括若干个第一训练语句,所述情感训练数据集包括若干个第二训练语句;

模型获取模块,用于获取预设的言论分析模型,其中,所述言论分析模型包括句子编码模块、多任务学习模块、特征过滤模块以及识别模块,所述多任务学习模块包括语义任务模块、情感任务模块以及共享任务模块;

句子编码模块,用于将所述语义训练数据集以及情感训练数据集分别输入至所述句子编码模块中进行编码处理,获得所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示;

第一特征计算模块,用于将所述若干个第一训练语句的句子特征表示以及若干个第二训练语句的句子特征表示输入至所述多任务学习模块中进行特征提取,获得所述若干个第一训练语句的语义特征表示以及若干个第二训练语句的情感特征表示;

第一损失值计算模块,用于根据所述若干个第一训练语句的句子特征表示、语义特征表示,以及若干个第二训练语句的句子特征表示、情感特征表示,获得所述多任务学习模块输出的第一损失值;

第二特征计算模块,用于将所述若干个第一训练语句的句子特征表示、语义特征表示以及所述若干个第二训练语句的句子特征表示、情感特征表示分别输入至所述特征过滤模块中进行特征过滤,获得所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示;

概率分布向量计算模块,用于将所述若干个第一训练语句的语义特征过滤表示以及所述若干个第二训练语句的情感特征过滤表示分别输入至所述识别模块,获得所述若干个第一训练语句的预测语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量;

第二损失值计算模块,用于获取语义标签集以及情感标签集,所述语义标签集包括若干个第一训练语句的真实语义概率分布向量,所述情感标签集包括若干个第二训练语句的情感语义概率分布向量,根据所述若干个第一训练语句的预测语义概率分布向量、真实语义概率分布向量,以及所述若干个第二训练语句的预测情感概率分布向量、真实情感概率分布向量,获得所述识别模块输出的第二损失值;

模型训练模块,用于根据所述第一损失值以及第二损失值,对所述言论分析模型进行训练,获得目标言论分析模型;

言论分析模块,用于获取待分析语句,将所述待分析语句输入至所述目标言论分析模型,获得所述待分析语句的预测语义概率分布向量,根据所述待分析语句的预测语义概率分布向量,获取所述待分析语句的言论分析结果。

9.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于多任务学习的言论分析方法的步骤。

10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于多任务学习的言论分析方法的步骤。