1.一种基于主题语义信息的关键词向量化方法,其特征在于,所述方法包括以下实现步骤:
步骤S1,使用Sentence‑BERT模型输入文档集D进行训练,提取文档中蕴含的语义信息,生成文档向量矩阵 行向量 是文档di的文档向量;
步骤S2,使用UMAP降维算法将文档向量矩阵 降维后形成文档向量矩阵为行向量 是文档di降维后的文档向量;
步骤S3,采用HDBSCAN聚类算法将降维后的文档向量 进行聚类,形成m个聚类聚类主题T={t1,t2,…,tm},然后将各文档根据其主题信息,归类到对应的主题中;
步骤S4,利用主题词频率‑逆主题频率的计算方式,计算关键词集合W中每一个关键词wi与主题T中每个主题的主题词频率‑逆主题频率得分,将该得分合并得到关键词主题向量θi。
2.根据权利要求1所述的一种基于主题语义信息的关键词向量化方法,其特征在于,步骤S3中所述HDBSCAN聚类算法为常规聚类方式,具体为将D中每个文档di归类到某个主题tj中,记为di→tj,表示文档di被归类到主题tj中。
3.根据权利要求1所述的一种基于主题语义信息的关键词向量化方法,其特征在于,所述步骤S3中所述HDBSCAN聚类算法为软聚类方式,将D中每个文档di生成一个软集群成员向量Φ[i],Φ[i]向量也是di的文档主题向量;所有文档的文档主题向量构成文档‑主题矩阵Φ,Φ[i][j]表示文档di属于主题tj的概率;对于D中的每个文档di,计算与di最相关的前k个主题,记为k‑Topic(di),计算方法如下:k‑Topic(di)={tj|Φ[i][j]∈topk{Φ[i][k]|tk∈T}}其中topk{}表示获取集合中最大的k个元素,对于任一主题ti,计算ti关联的文档集合,记为Docs(ti),计算方法如下:Docs(ti)={dj|dj∈D∧ti∈k‑Topic(dj)}其中,k‑Topic(dj)是与文档di最相关的前k个主题。
4.根据权利要求1所述的一种基于主题语义信息的关键词向量化方法,其特征在于,所述步骤S4具体包括以下步骤:
步骤S4.1,针对W中的每一个关键词wi,计算其在T中每个主题tj中的词频记为ttf(wi,tj),计算方法如下:
其中,ni,j是关键词wi在主题tj中出现的次数,∑knk,j是所有关键词在主题tj中出现的总次数;
步骤S4.2,针对W中的每一个关键词wi,计算wi的逆主题频率,记为itf(wi),计算方法如下:
其中,|T|表示主题总数量,|{j:wi∈tj}|表示含有关键词wi的主题数量;
步骤S4.3,关键词wi和主题tj之间的主题词频率‑逆主题频率的得分记为ttf‑itf(wi,tj),它衡量关键词wi对主题tj的重要程度,计算方法如下:ttf‑itf(wi,tj)=ttf(wi,tj)·itf(wi)步骤S4.4,根据步骤S4.3中得到的关键词wi和主题tj之间的主题词频率‑逆主题频率得分,合并得到关键词wi的主题向量,记为θi,方法如下:θi=[ttf‑itf(wi,t1),ttf‑itf(wi,t2),…,ttf‑itf(wi,tm)]。
5.权利要求1‑4中任意一项权利要求所述的基于主题语义信息的关键词向量化方法在文档检索中的应用,其特征在于,所述应用包括步骤:首先采用权利要求1中所述的关键词向量化方法对待检索的所有文档进行关键词向量化处理,然后输入关键词检索出相应的文档。
6.根据权利要求5所述的应用,其特征在于,设置检索关键词集合为Q={w1,w2,…,wp},其中wp是关键词字典中第p个关键词,根据关键词主题向量,生成查询Q的检索主题向量VQ,如下所示:
其中,PD和PW分别是主题概率向量和关键词概率向量,然后计算VQ和Φ中所有文档主题向量的内积,根据内积计算结果排序,即可得到与检索关键词相关的文档。