利索能及
我要发布
收藏
专利号: 201710931100X
申请人: 东软集团股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-03-03
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种热词确定方法,其特征在于,所述方法包括:

获取文本语料的共词网络,所述共词网络包括第一节点集合和所述第一节点集合中各个节点之间连接的边,所述节点表示特征词,所述特征词来源于所述文本语料,所述边表示所述特征词之间在所述文本语料中的共现关系,所述共现关系反映所述特征词之间共同出现的频率;

对所述共词网络进行K-核解析,得到所述第一节点集合中各个节点的核数;

将所述第一节点集合中核数大于或等于预设核数的节点确定为所述文本语料的热词。

2.根据权利要求1所述的方法,其特征在于,所述将所述第一节点集合中核数大于或等于预设核数的节点确定为所述文本语料的热词包括:将所述第一节点集合中核数大于或等于预设核数且预设参数满足预设条件的节点确定为所述文本语料的热词,所述预设参数包括度值和/或度值中心度。

3.根据权利要求1所述的方法,其特征在于,所述获取文本语料的共词网络中的第一节点集合包括:将所述文本语料以句子为单位进行拆分,每个句子均分别以字为单位划分为若干个单元;

计算相邻两个单元共同出现在一个句子中的句子个数以及各自单独出现在一个句子中的句子个数;

根据计算相邻两个单元共同出现在一个句子中的句子个数以及各自单独出现在一个句子中的句子个数,得到所述相邻两个单元的互信息和/或信息熵;

若所述相邻两个单元的互信息和/或信息熵满足第一预设条件,则将所述相邻两个单元合并为一个单元,以形成所述第一节点集合中的节点。

4.根据权利要求3所述的方法,其特征在于,所述若所述相邻两个单元的互信息和/或信息熵满足第一预设条件,则将所述相邻两个单元合并为一个单元,以形成所述第一节点集合中的节点包括:若所述相邻两个单元的互信息和/或信息熵满足所述第一预设条件,则将所述相邻两个单元合并为一个单元,然后返回执行计算相邻两个单元共同出现在一个句子中的句子个数以及各自单独出现在一个句子中的句子个数的步骤,以进行迭代,直到不再出现新的其互信息和/或信息熵满足所述第一预设条件的相邻两个单元;

将迭代完成后确定的单元作为节点形成所述第一节点集合。

5.根据权利要求1所述的方法,其特征在于,所述第一节点集合中各个节点之间连接的边通过以下方式获取:计算所述第一节点集合中第一节点和第二节点共同出现在所述文本语料的一个句子中的句子个数,以及各自单独出现在所述文本语料的一个句子中的句子个数,所述第一节点和所述第二节点为所述第一节点集合中的任意两个节点;

根据所述第一节点集合中第一节点和第二节点共同出现在所述文本语料的一个句子中的句子个数,以及各自单独出现在所述文本语料的一个句子中的句子个数,计算所述第一节点和所述第二节点的互信息;

若所述第一节点和所述第二节点的互信息满足第二预设条件,则建立所述第一节点和所述第二节点之间连接的边。

6.根据权利要求1所述的方法,其特征在于,所述第一节点集合中各个节点之间连接的边通过以下方式获取:获取所述第一节点集合中第三节点和第四节点共同出现在所述文本语料的一个句子中时,与该句子中的其他节点共同出现在一个句子中的句子个数;

根据所述第三节点、所述第四节点和所述其他节点共同出现在一个句子中的句子个数,计算所述第三节点和所述第四节点的信息熵;

若所述第三节点和所述第四节点的信息熵满足第三预设条件,则建立所述第三节点和所述第四节点之间连接的边。

7.根据权利要求1所述的方法,其特征在于,所述文本语料包括第一文本语料和第二文本语料,所述方法还包括:获取所述第一文本语料的热词和所述第二文本语料的热词的并集。

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:将所述并集去除所述第一文本语料的热词,得到第一区别热词,所述第一区别热词为第二文本语料中的热词;

将所述并集去除所述第二文本语料的热词,得到第二区别热词,所述第二区别热词为第一文本语料中的热词。

9.一种热词确定装置,其特征在于,所述装置包括:

第一获取单元,用于获取文本语料的共词网络,所述共词网络包括第一节点集合和所述第一节点集合中各个节点之间连接的边,所述节点表示特征词,所述特征词来源于所述文本语料,所述边表示所述特征词之间在所述文本语料中的共现关系,所述共现关系反映所述特征词之间共同出现的频率;

第二获取单元,用于对所述共词网络进行K-核解析,得到所述第一节点集合中各个节点的核数;

第一确定单元,用于将所述第一节点集合中核数大于或等于预设核数的节点确定为所述文本语料的热词。

10.一种热词确定设备,其特征在于,所述设备包括:

处理器和存储有程序的存储器;

其中在所述处理器执行所述程序时,执行以下操作:

获取文本语料的共词网络,所述共词网络包括第一节点集合和所述第一节点集合中各个节点之间连接的边,所述节点表示特征词,所述特征词来源于所述文本语料,所述边表示所述特征词之间在所述文本语料中的共现关系,所述共现关系反映所述特征词之间共同出现的频率;

对所述共词网络进行K-核解析,得到所述第一节点集合中各个节点的核数;

将所述第一节点集合中核数大于或等于预设核数的节点确定为所述文本语料的热词。