利索能及
我要发布
收藏
专利号: 2020101372651
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种语句情感分类方法,其特征在于,所述方法包括:

获取第一语句样本集,所述第一语句样本集中的每个第一语句样本包含一个缺失词;

对于每个第一语句样本,利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列,将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列,根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量;

利用所述特征提取模型将所述第一词向量序列编码为第一编码序列,将所述第二词向量序列编码为第二编码序列;

利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量;

根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型,得到第一特征提取模型,新建第二特征提取模型,使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致,用所述第一特征提取模型的权值更新所述第二特征提取模型的权值;

用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型;

用所述属性分类模型识别多个待识别语句的属性词,将每个待识别语句与识别出的每个待识别语句的属性词连接,得到连接属性词的所述多个待识别语句;

用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型;

用所述属性分类模型识别待处理语句的属性词,情感分类模型对连接属性词的所述待处理语句进行分类,输出所述待处理语句的属性词和所述待处理语句的情感类型。

2.如权利要求1所述的方法,其特征在于,所述特征提取模型包括输入层、前向隐藏层、后向隐藏层和输出层。

3.如权利要求1所述的方法,其特征在于,所述利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列,将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列包括:将所述第一语句样本中的所述缺失词前的词语依词序转化为第一编码向量序列,将所述第一语句样本中的所述缺失词后的词语依词序转化为第二编码向量序列;

将所述第一语句样本中的所述缺失词前的词语的位置编号转化为第一位置向量序列,将所述第一语句样本中的所述缺失词后的词语的位置编号转化为第二位置向量序列;

将所述第一编码向量序列和所述第一位置向量序列转化为第一词向量序列,将所述第二编码向量序列和所述第二位置向量序列转化为第二词向量序列。

4.如权利要求1所述的方法,其特征在于,所述特征提取模型将所述第一词向量序列编码为第一编码序列包括:所述特征提取模型的第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1,所述初始化的权值矩阵集包括N个权值矩阵子集,所述第一编码序列的中间向量序列与所述第二编码序列的中间向量序列按顺序一一对应,所述特征提取模型的第n层的前向隐藏子层和第n层的后向隐藏子层共享第n个权值矩阵子集,每个权值矩阵子集包括多组权值矩阵和第四权值矩阵,每组权值矩阵包括V权值矩阵、Q权值矩阵、K权值矩阵;

从所述第1层前向隐藏子层的第2个编码模块开始,所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u,得到所述第一编码序列的第一个中间向量序列Z1={Z1,1,…,Z1,u,…,Z1,U},其中,所述第一编码序列的第一个中间向量序列的第u个向量与所述第一词向量序列的第u个词向量一一对应;

从所述特征提取模型的第2层前向隐藏子层开始,逐个用所述第n层前向隐藏子层根据第n个权值矩阵子集将所述第一编码序列的第n-1个中间向量序列Zn-1编码为所述第一编码序列的第n个中间向量序列Zn。

5.如权利要求4所述的方法,其特征在于,所述第1层前向隐藏子层的第1个编码模块根据初始化的权值矩阵集中的第一个权值矩阵子集将所述第一词向量序列的第1个词向量编码为所述第一编码序列的第一个中间向量序列的第1个向量Z1,1包括:所述第1层前向隐藏子层的第1个编码模块将所述第一词向量序列的第1个词向量分别乘以第一个权值矩阵子集中的多组权值矩阵中的V权值矩阵,得到所述第一词向量序列的第一个词向量的多个V权值向量;

将所述第一词向量序列的第一个词向量的多个V权值向量进行连接,得到所述第一词向量序列的第一个词向量的组合向量;

用所述第一词向量序列的第一个词向量的组合向量乘以所述第四权值矩阵,得到所述第一编码序列的第一个中间向量序列的第1个向量Z1,1。

6.如权利要求4所述的方法,其特征在于,所述第1层前向隐藏子层的第u个编码模块根据第一个权值矩阵子集逐个将所述第一词向量序列的第u-1个词向量和所述第一词向量序列的第u个词向量编码为所述第一编码序列的第一个中间向量序列的第u个向量Z1,u,得到所述第一编码序列的第一个中间向量序列Z1={Z1,1,…,Z1,u,…,Z1,U}包括:所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵,得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V权值向量;

所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的Q权值矩阵,得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的Q权值向量;

所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第2个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的K权值矩阵,得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K权值向量;

所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的V权值矩阵,得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的V’权值向量;

所述第1层前向隐藏子层的第2个编码模块将所述第一词向量序列的第1个词向量乘以第一个权值矩阵子集中的第1组权值矩阵中的第三K权值矩阵,得到所述第一编码序列的第一个中间向量序列的第2个向量Z1,2的K’权值向量;

所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的Q权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的K’权值向量确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值;

所述第1层前向隐藏子层的第2个编码模块根据所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量、所述第一编码序列的第1个中间向量序列Z1,2的第2个向量的V’权值向量、所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V权值向量的注意力值和所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的V’权值向量的注意力值确定所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的第一个分值;

所述第1层前向隐藏子层的第2个编码模块将所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的多个分值进行连接,得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量;

所述第1层前向隐藏子层的第2个编码模块用所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的组合向量乘以所述第四权值矩阵,得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量;

所述第1层前向隐藏子层的第2个编码模块中的前馈网络对经过残差和归一化处理的所述第一编码序列的第1个中间向量序列的第2个向量Z1,2的中间向量进行编码,并再次进行归一化处理,得到所述第一编码序列的第1个中间向量序列的第2个向量Z1,2。

7.如权利要求1所述的方法,其特征在于,所述方法还包括:

所述特征提取模型的第n层前向隐藏子层的第U个编码模块将所述第一编码序列的n-1个中间向量序列的第U-1个向量、所述第一编码序列的n-1个中间向量序列的第U个向量和所述第二编码序列的n-1个中间向量序列的第W个向量编码为Zn,U;第n层后向隐藏子层的第W个编码模块将所述第二编码序列的n-1个中间向量序列的第W-1个向量、所述第二编码序列的n-1个中间向量序列的第W个向量和所述第一编码序列的n-1个中间向量序列的第U个向量编码为Rn,W。

8.一种语句情感分类装置,其特征在于,所述装置包括:

获取模块,用于获取第一语句样本集,所述第一语句样本集中的每个第一语句样本包含一个缺失词;

转化模块,用于对于每个第一语句样本,利用特征提取模型将所述第一语句样本中缺失词之前的词语依词序转化为第一词向量序列,将所述第一语句样本中所述缺失词之后的词语依反向词序转化为第二词向量序列,根据预设词汇编码表将所述第一语句样本中的所述缺失词转化为所述第一语句样本的标签向量;

编码模块,用于利用所述特征提取模型将所述第一词向量序列编码为第一编码序列,将所述第二词向量序列编码为第二编码序列;

计算模块,用于利用所述特征提取模型根据所述第一编码序列、所述第二编码序列计算所述第一语句样本的缺失词向量;

第一训练模块,用于根据所述第一语句样本的缺失词向量和所述第一语句样本的标签向量训练所述特征提取模型,得到第一特征提取模型,新建第二特征提取模型,使所述第二特征提取模型的神经网络结构与所述第一特征提取模型的神经网络结构一致,用所述第一特征提取模型的权值更新所述第二特征提取模型的权值;

第二训练模块,用于用带有属性标签的第二语句样本训练由所述第一特征提取模型和全连接层构成的属性分类模型;

连接模块,用于用所述属性分类模型识别多个待识别语句的属性词,将每个待识别语句与识别出的每个待识别语句的属性词连接,得到连接属性词的所述多个待识别语句;

第三训练模块,用于用带有情感标签的连接属性词的所述多个待识别语句训练由所述第二特征提取模型和深度学习模型构成的情感分类模型;

分类模块,用于用所述属性分类模型识别待处理语句的属性词,情感分类模型对连接属性词的所述待处理语句进行分类,输出所述待处理语句的属性词和所述待处理语句的情感类型。

9.一种计算机设备,其特征在于,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1-7中任一项所述语句情感分类方法。

10.一种计算机存储介质,所述计算机存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述语句情感分类方法。