利索能及
我要发布
收藏
专利号: 2017102035812
申请人: 东软集团股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-03-03
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种文本分类的方法,其特征在于,包括:

获取多个样本文本;

对每个样本文本进行分词处理得到多个词语,并获取每个所述词语的词性信息;

根据所述多个词语和每个词语对应的词性信息建立神经网络分类模型;

将待分类的文本作为所述神经网络分类模型的输入,得到所述待分类的文本的类型。

2.根据权利要求1所述的方法,其特征在于,所述根据所述多个词语和每个词语对应的词性信息建立神经网络分类模型包括:按照预设处理方式对所述分类样本集中的每个样本文本进行处理得到所述每个样本文本的文本向量;

根据每个样本文本的文本向量建立神经网络分类模型;

其中,所述预设处理方式包括:

根据目标样本文本的每个词语和对应的词性信息生成所述目标样本文本的每个词语对应的词语向量;其中,所述目标样本文本为所述分类样本集中的任一样本文本;

根据所述每个词语对应的词语向量生成所述目标样本文本对应的二叉树;其中,所述二叉树的叶节点分别对应所述每个词语向量,所述二叉树的根节点对应所述目标文本的文本向量;

根据所述词语向量通过所述二叉树获取所述目标样本文本的文本向量。

3.根据权利要求2所述的方法,其特征在于,所述根据所述每个词语对应的词语向量生成所述目标样本文本对应的二叉树包括:获取每个词语在所述目标文本中的词语顺序;

根据所述词语顺序确定所述目标文本中第一个词语对应的第一节点和第二个词语对应的第二节点,并建立所述第一节点和所述第二节点的第一父节点;

确定第三个词语对应的第三节点,并建立所述第三节点与所述第一父节点的第二父节点,继续按照所述词语顺序确定第四个词语对应的第四节点,并建立所述第四节点与所述第二父节点的第三父节点,直至按照所述词语顺序确定出最后一个词语对应的节点的父节点,得到所述二叉树。

4.根据权利要求2或3所述的方法,其特征在于,所述根据所述词语向量通过所述二叉树获取所述目标样本文本的文本向量包括:根据每个词语的词性确定所述二叉树中每个父节点对应的组合词性;

获取每个组合词性对应的第一分类权重,并将所述第一分类权重中相同词性的组合词性对应的第一分类权重相加,得到第二分类权重;

根据所述词语向量和所述每个父节点对应的组合词性以及所述第二分类权重,从所述二叉树的最底层依次向上计算所述二叉树每个父节点对应的组合向量,直至得到所述根节点对应的文本向量。

5.根据权利要求4所述的方法,其特征在于,所述获取每个组合词性对应的第一分类权重包括:获取每个父节点对应的误差值;

根据所述误差值按照以下公式计算得到所述每个父节点对应的第一分类权重:其中,Wi为第i个父节点的第一分类权重,E(θ)为预设目标函数,M为第i个父节点对应的一个子节点和第i个父节点对应的另一个子节点的词语向量组合得到的词组向量,δi为第i个父节点对应的误差值,θ表示所述目标样本文本中每个组合词性对应的第一分类权重。

6.一种文本分类的装置,其特征在于,包括:

获取模块,用于获取多个样本文本;

处理模块,用于对每个样本文本进行分词处理得到多个词语,并获取每个所述词语的词性信息;

模型建立模块,用于根据所述多个词语和每个词语对应的词性信息建立神经网络分类模型;

分类模块,用于将待分类的文本作为所述神经网络分类模型的输入,得到所述待分类的文本的类型。

7.根据权利要求1所述的装置,其特征在于,所述模型建立模块,包括:处理子模块,用于按照预设处理方式对所述分类样本集中的每个样本文本进行处理得到所述每个样本文本的文本向量;

模型建立子模块,用于根据每个样本文本的文本向量建立神经网络分类模型;

其中,所述预设处理方式包括:

根据目标样本文本的每个词语和对应的词性信息生成所述目标样本文本的每个词语对应的词语向量;其中,所述目标样本文本为所述分类样本集中的任一样本文本;

根据所述每个词语对应的词语向量生成所述目标样本文本对应的二叉树;其中,所述二叉树的叶节点分别对应所述每个词语向量,所述二叉树的根节点对应所述目标文本的文本向量;

根据所述词语向量通过所述二叉树获取所述目标样本文本的文本向量。

8.根据权利要求7所述的装置,其特征在于,所述处理子模块,用于获取每个词语在所述目标文本中的词语顺序;根据所述词语顺序确定所述目标文本中第一个词语对应的第一节点和第二个词语对应的第二节点,并建立所述第一节点和所述第二节点的第一父节点;

确定第三个词语对应的第三节点,并建立所述第三节点与所述第一父节点的第二父节点,继续按照所述词语顺序确定第四个词语对应的第四节点,并建立所述第四节点与所述第二父节点的第三父节点,直至按照所述词语顺序确定出最后一个词语对应的节点的父节点,得到所述二叉树。

9.根据权利要求7或8所述的装置,其特征在于,所述处理子模块,用于根据每个词语的词性确定所述二叉树中每个父节点对应的组合词性;获取每个组合词性对应的第一分类权重,并将所述第一分类权重中相同词性的组合词性对应的第一分类权重相加,得到第二分类权重;根据所述词语向量和所述每个父节点对应的组合词性以及所述第二分类权重,从所述二叉树的最底层依次向上计算所述二叉树每个父节点对应的组合向量,直至得到所述根节点对应的文本向量。

10.根据权利要求9所述的装置,其特征在于,所述处理子模块,用于确定每个父节点对应的误差值,并根据所述误差值按照以下公式计算得到每个父节点对应的第一分类权重:其中,Wi为第i个父节点的第一分类权重,E(θ)为预设目标函数,M为第i个父节点对应的一个子节点和第i个父节点对应的另一个子节点的词语向量组合得到的词组向量,δi为第i个父节点对应的误差值,θ表示所述目标样本文本中每个组合词性对应的第一分类权重。