利索能及
我要发布
收藏
专利号: 2021113267985
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种短文本分类方法,其特征在于,包括以下步骤:

确定短文本的知识信息与关键词;

将短文本、知识信息与关键词嵌入向量空间进行拼接,获得短文本、知识信息与关键词的向量矩阵,具体为:将短文本与知识信息的向量表示在神经网络模型的上级子网络中进行拼接,获得知识信息的向量矩阵;采用卷积神经网络对短文本与关键词预训练,获得短文本与关键词的字符级向量表示,将短文本与关键词的字符级向量表示在神经网络模型的下级子网络中进行拼接,获得字符级的关键词的向量矩阵;

采用双向记忆网络层对短文本向量矩阵进行处理获得短文本的语义信息;

将短文本的语义信息与知识信息的向量矩阵或关键字的向量矩阵进行注意力计算获得知识信息或关键词的向量;

利用卷积神经网络对向量与向量矩阵进行特征提取获得短文本分类结果,具体为:在上级子网络中对知识信息的向量与短文本的向量矩阵进行拼接,通过二维卷积神经网络对拼接后的矩阵进行特征提取获得特征向量,将特征向量通过上级子网络的全连接层进行分类获得上级子网络的分类结果;

在下级子网络中对关键字的向量与关键词的向量矩阵进行拼接,通过二维卷积神经网络对拼接后的矩阵进行特征提取获得特征向量,将特征向量通过下级子网络的全连接层进行分类获得下级子网络的分类结果;

将上级子网络的分类结果与下级子网络的分类结果进行联合分类,获得短文本的分类结果。

2.根据权利要求1所述的一种短文本分类方法,其特征在于,确定短文本的知识信息,具体为:对短文本进行实体识别,获得短文本的实体集,对实体集进行识别确定短文本的知识信息。

3.根据权利要求2所述的一种短文本分类方法,其特征在于,将短文本、知识信息与关键词嵌入向量空间进行拼接,获得短文本、知识信息与关键词的向量矩阵,之前还包括步骤:将短文本、知识信息与关键词输入到神经网络模型嵌入层,采用词向量模型对嵌入层的短文本、知识信息与关键词进行预训练,获得短文本、知识信息以及关键词的向量表示。

4.根据权利要求1所述的一种短文本分类方法,其特征在于,采用双向记忆网络层对短文本向量矩阵进行处理获得短文本的语义信息,具体包括:将短文本向量矩阵与字符级的短文本的向量矩阵均输入至双向记忆网络层进行处理,分别获得上下级子网络的短文本上下文的语义信息。

5.根据权利要求1所述的一种短文本分类方法,其特征在于,将短文本的语义信息与知识信息的向量矩阵或关键字的向量矩阵进行注意力计算获得知识信息或关键词的向量,具体包括:在上级子网络中,将短文本上下文的语义信息与知识信息进行注意力计算,获得知识信息的自注意力结果,计算知识信息的自注意力结果与语义信息的乘积,对每个乘积进行拼接,获得知识信息的向量;

在下级子网络中,将短文本上下文的语义信息与关键词进行注意力计算,获得关键词的自注意力结果,计算关键词的自注意力结果与语义信息的乘积,对每个乘积进行拼接,获得关键词的向量。

6.根据权利要求5所述的一种短文本分类方法,其特征在于,

注意力计算的计算式为: ,其中,表示知识信

息或关键词对于短文本的权重, tanh表示双曲正切函数,softmax表示将自注意力结果进行归一化处理, 表示权重矩阵, 表示权重向量, 表示偏移向量,p表示中间结果, 表示在上级子网络中表示第i个知识向量和在下级子网络中表示第i个关键字向量。

7.一种短文本分类装置,其特征在于,包括确定单元、拼接单元、处理单元、计算单元与分类单元;

所述确定单元,用于确定短文本的知识信息与关键词;

所述拼接单元,用于将短文本、知识信息与关键词嵌入向量空间进行拼接,获得短文本、知识信息与关键词的向量矩阵,具体为:将短文本与知识信息的向量表示在神经网络模型的上级子网络中进行拼接,获得知识信息的向量矩阵;采用卷积神经网络对短文本与关键词预训练,获得短文本与关键词的字符级向量表示,将短文本与关键词的字符级向量表示在神经网络模型的下级子网络中进行拼接,获得字符级的关键词的向量矩阵;

所述处理单元,用于采用双向记忆网络层对短文本向量矩阵进行处理获得短文本的语义信息;

所述计算单元,用于将短文本的语义信息与知识信息的向量矩阵或关键字的向量矩阵进行注意力计算获得知识信息或关键词的向量;

所述分类单元,用于利用卷积神经网络对向量与向量矩阵进行特征提取获得短文本分类结果,具体为:在上级子网络中对知识信息的向量与短文本的向量矩阵进行拼接,通过二维卷积神经网络对拼接后的矩阵进行特征提取获得特征向量,将特征向量通过上级子网络的全连接层进行分类获得上级子网络的分类结果;

在下级子网络中对关键字的向量与关键词的向量矩阵进行拼接,通过二维卷积神经网络对拼接后的矩阵进行特征提取获得特征向量,将特征向量通过下级子网络的全连接层进行分类获得下级子网络的分类结果;

将上级子网络的分类结果与下级子网络的分类结果进行联合分类,获得短文本的分类结果。

8.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述分类方法的步骤。