利索能及
我要发布
收藏
专利号: 2018115179173
申请人: 河北工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种短文本聚类分析方法,其特征在于,包括:

获取待聚类的短文本数据集,并对所述短文本数据集进行预处理得到包括至少三种词性的初始词集;

对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集;

根据所述主题特征词集和所述主题关联词集的相关性确定预设个数的主题特征词和主题关联词,所述主题特征词与所述主题关联词一一对应组成知识对;

将所述预设个数的知识对输入到文档主题生成模型LDA中进行聚类并确定该待聚类的短文本数据集的情感主题,以及对聚类的主题进行正确率计算:通过

得到正确率F1;其中,Pr为聚类的主题精确率,Re为测试中的主题召回率。

2.如权利要求1所述的短文本聚类分析方法,其特征在于,所述对所述短文本数据集进行预处理得到包括至少三种词性的初始词集,包括:将所述短文本数据集进行分词处理得到文本词集;

对所述文本词集进行过滤处理得到包括至少三种词性的主词集;

对所述主词集进行词性约束处理得到包括至少三种词性的初始词集。

3.如权利要求1所述的短文本聚类分析方法,其特征在于,所述对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集,包括:根据词频-逆文本频率指数TF-IDF算法对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集。

4.如权利要求1所述的短文本聚类分析方法,其特征在于,所述特征词集包括与所述词性对应的至少三个特征词子集;

所述根据所述主题特征词集和所述主题关联词集的相关性确定预设个数的主题特征词和主题关联词,包括:计算所述特征词子集中的每个词与其他特征词子集中的每个词之间的词共现度,并根据所述词共现度确定所述主题特征词集和所述主题关联词集;

计算所述主题特征词集中每个词的权重和所述主题关联词集中每个词的权重,并根据每个词的权重确定预设个数的主题特征词和主题关联词。

5.如权利要求1至4任一项所述的短文本聚类分析方法,其特征在于,所述将所述预设个数的知识对输入到LDA中进行聚类并确定该待聚类的短文本数据集的情感主题,包括:对所述预设个数的知识对进行吉布斯抽样得到知识对集;

将所述知识对集输入到LDA中进行聚类得到多个主题;

运用K-means聚类算法对所述多个主题进行二次聚类得到所述待聚类的短文本数据集的情感主题。

6.一种短文本聚类分析装置,其特征在于,包括:

预处理模块,用于获取待聚类的短文本数据集,并对所述短文本数据集进行预处理得到包括至少三种词性的初始词集;

特征提取模块,用于对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集;

知识对确定模块,用于根据所述主题特征词集和所述主题关联词集的相关性确定预设个数的主题特征词和主题关联词,所述主题特征词与所述主题关联词一一对应组成知识对;

主题聚类模块,用于将所述预设个数的知识对输入到LDA中进行聚类并确定该待聚类的短文本数据集的情感主题,以及对聚类的主题进行正确率计算:通过得到正确率F1;其中,Pr为聚类的主题精确率,Re为测试中的主题召回率。

7.如权利要求6所述的短文本聚类分析装置,其特征在于,所述预处理模块具体用于:将所述短文本数据集进行分词处理得到文本词集;

对所述文本词集进行过滤处理得到包括至少三种词性的主词集;

对所述主词集进行词性约束处理得到包括至少三种词性的初始词集。

8.如权利要求6或7所述的短文本聚类分析装置,其特征在于,所述特征词集包括与所述词性对应的至少三个特征词子集;

所述知识对确定模块具体用于:

计算所述特征词子集中的每个词与其他特征词子集中的每个词之间的词共现度,并根据所述词共现度确定所述主题特征词集和所述主题关联词集;

计算所述主题特征词集中每个词的权重和所述主题关联词集中每个词的权重,并根据每个词的权重确定预设个数的主题特征词和主题关联词。

9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述短文本聚类分析方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述短文本聚类分析方法的步骤。