欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021110000192
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种情感分类方法,其特征在于,包括以下步骤:利用预训练的BERT模型对输入文本进行编码,获取所述输入文本每一个单词的向量表示;

对所述输入文本进行句法依赖解析,获取所述输入文本的句法依赖关系;以向量表示作为图节点,以该向量表示对应的句法依赖关系作为边,生成每一个向量表示的句法图;

基于自注意力机制,获取向量表示的语义邻接矩阵,生成加权语义相似度图;其中,所述生成加权语义相似图的步骤包括:按照以下方式,将所述向量表示映射到K个d维语义空间;

其中, 为输入文本的向量表示, 为第k个语义空间的向量表示, 为第k个语义空间的向量表示对应的偏置向量, 为第k个语义空间的向量表示对应的映射矩阵,为非线性激活函数;

按照以下方式,获取K个语义空间对应的语义邻接矩阵:其中, 为节点i和节点j的语义邻接矩阵, 为预设阈值, 为节点i在第k个语义空间的向量表示, 为节点j在第k个语义空间的向量表示;

按照以下方式,获取加权相似度邻接矩阵:其中, 为节点i和节点j的加权相似度邻接矩阵, 为节点i和节点j的注意力权重系数,按照以下方式获取:其中, 为节点i的注意力权重矩阵, 为节点j的注意力权重矩阵,d为语义空间的维度, 为 的转置矩阵;

按照以下方式,获取加权语义相似图:其中, 为加权语义相似图,  为加权相似度邻接矩阵;

利用句法图卷积网络从所述句法图中提取句法信息,利用语义图卷积网络从所述加权语义相似度图中提取语义信息;利用交流模块交互融合所述句法信息和所述语义信息,获取融合后的句法信息和语义信息;

基于注意力机制提取所述句法信息和所述语义信息中目标词的句法特征和语义特征;

对所述句法特征和语义特征进行加权求和,获取联合特征;

将所述联合特征输入全连接层中进行情感分类,获取情感极性信息。

2.根据权利要求1所述的情感分类方法,其特征在于,所述生成每一个向量表示的句法图的步骤包括:

按照以下方式,生成句法图:

其中, 为句法图, 为输入文本的向量表示, 为向量表示 的邻接矩阵;

其中, 为图节点i和图节点j的邻接矩阵, 表示图节点i和图节点j之间存在依赖关系。

3.根据权利要求1所述的情感分类方法,其特征在于,所述利用句法图卷积网络从所述句法图中提取句法信息的步骤,包括:按照以下方式,提取句法信息:其中, 为非线性激活函数, 为句法图卷积网络第 层提取的句法信息, 为句法图卷积网络第 层提取的句法信息, 是 的对称归一化邻接矩阵,是句法图卷积网络第 层的权重矩阵,为单位矩阵, 为向量表示 的邻接矩阵;

所述利用语义图卷积网络从所述加权语义相似度图中提取语义信息的步骤包括:按照以下方式,提取语义信息:其中, 为语义图卷积网络第 层提取的语义信息, 为语义图卷积网络第层提取的语义信息, 为语义图卷积网络第 层的权重矩阵, 是 的对称归一化邻接矩阵, 为加权相似度邻接矩阵。

4.根据权利要求3所述的情感分类方法,其特征在于,所述获取融合后的句法信息和语义信息的步骤包括:

按照以下方式,获取融合后的句法信息:其中, 为融合后的句法信息, 为语义图卷积网络第 层提取的语义信息,为句法融合系数,按照以下方式获取:其中, 为句法图卷积网络第 层提取的句法信息, 为 的转置矩阵,为句法融合权重矩阵, 为句法融合偏置参数;

按照以下方式,获取融合后的语义信息:其中, 为融合后的语义信息, 为语义融合权重系数,按照以下方式获取:其中, 为 的转置矩阵, 为语义融合权重矩阵, 为语义融合偏置参数。

5.根据权利要求1所述的情感分类方法,其特征在于,所述获取联合特征的步骤包括:按照以下方式,获取联合特征:其中, 为联合特征, 为非线性激活函数, 为权重矩阵, 为偏置参数, 为第一特征,按照以下方式获取

其中, 为学习参数, 为句法特征, 为语义特征。

6.根据权利要求1所述的情感分类方法,其特征在于,所述获取情感极性信息的步骤包括:

按照以下方式,获取情感极性信息:其中, 为联合特征, 为全连接层的权重矩阵,为偏置参数, 为情感极性信息。

7.一种情感分类装置,其特征在于,包括:向量表示获取模块,用于利用预训练的BERT模型对输入文本进行编码,获取所述输入文本每一个单词的向量表示;

句法图获取模块,用于对所述输入文本进行句法依赖解析,获取所述输入文本的句法依赖关系;以向量表示作为图节点,以该向量表示对应的句法依赖关系作为边,获取每一个向量表示的句法图;

相似图获取模块,用于基于自注意力机制,获取向量表示的语义邻接矩阵,生成加权语义相似度图;其中,所述相似图获取模块按照以下方式,将所述向量表示映射到K个d维语义空间;

其中, 为输入文本的向量表示, 为第k个语义空间的向量表示, 为第k个语义空间的向量表示对应的偏置向量, 为第k个语义空间的向量表示对应的映射矩阵,为非线性激活函数;

按照以下方式,获取K个语义空间对应的语义邻接矩阵:其中, 为节点i和节点j的语义邻接矩阵, 为预设阈值, 为节点i在第k个语义空间的向量表示, 为节点j在第k个语义空间的向量表示;

按照以下方式,获取加权相似度邻接矩阵:其中, 为节点i和节点j的加权相似度邻接矩阵, 为节点i和节点j的注意力权重系数,按照以下方式获取:其中, 为节点i的注意力权重矩阵, 为节点j的注意力权重矩阵,d为语义空间的维度, 为 的转置矩阵;

按照以下方式,获取加权语义相似图:其中, 为加权语义相似图,  为加权相似度邻接矩阵;

信息获取模块,用于利用句法图卷积网络从所述句法图中提取句法信息,利用语义图卷积网络从所述加权语义相似度图中提取语义信息;利用交流模块交互融合所述句法信息和所述语义信息,获取融合后的句法信息和语义信息;

特征提取模块,用于基于注意力机制提取所述句法信息和所述语义信息中目标词的句法特征和语义特征;

联合特征获取模块,用于对所述句法特征和语义特征进行加权求和,获取联合特征;

情感分类获取模块,用于将所述联合特征输入全连接层中进行情感分类,获取情感极性信息。

8.一种计算机可读存储介质,其上储存有计算机程序,其特征在于:该计算机程序被处理器执行时实现如权利要求1‑6任意一项所述的情感分类方法的步骤。

9.一种计算机设备,其特征在于:包括存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1‑6中任意一项所述的情感分类方法的步骤。