1.一种基于双知识图谱的新闻标题短文本分类方法,包含以下步骤:步骤1:对新闻标题短文本进行预处理,去除特殊字符;并根据哈工大停用词表去除停用词;所述的特殊字符包括中英文标点符号、英文字符、数字和特殊符号;
步骤2:通过jieba分词工具提取新闻标题中的关键词;
步骤3:通过CN‑DBPedia外部知识库提供的API,将关键词链接到外部知识库获取实体集合;
步骤4:通过余弦相似度对获取到的实体集合进行消岐,得到候选实体集合;对于步骤3获得的实体集合,使用BERT获取实体集合和新闻标题的向量表示;然后使用余弦相似度计算实体Ei与新闻标题Si的相似度,选取相似度得分最高的实体加入候选实体集合;
步骤5:基于全局关键词共现信息,构建一张领域知识图,解决OOV问题;
5.1)以关键词为节点构建一张领域知识图;具体来说,使用固定大小的滑动窗口来收集关键词共现信息;使用逐点互信息PMI来计算两个关键词节点之间的权重;文本中两个关键词同时出现的概率越高,就表明这两个关键词之间的相关性越强;当PMI的值小于0时,就认为这两个关键词之间的关系是弱相关的;只有PMI值大于0,才会在两个关键词之间创建一条边;PMI的计算过程如下所示:这里#W(i)代表语料库中包含关键词i的滑动窗口的数量,#W(i,j)代表同时包含关键词i和关键词j的滑动窗口的数量,#(W)代表滑动窗口的总数量;
5.2)当实体链接出现OOV问题时,从领域知识图中查询这个关键词的邻居节点;根据PMI计算的权重值对邻居节点排序,取出排名前三的邻居节点;首先使用排名最低的邻居节点替换原有的关键词,重新从外部知识库中链接实体,如果依旧出现OOV问题,则依次取出下一个排名的邻居重新链接,直至成功或遍历结束为止;
步骤6:对于候选实体集合中的每个实体,通过链接到CN‑DBPedia外部知识库获取与该实体相关的解释信息,丰富上下文语义信息;
步骤7:使用BERT获取原始新闻标题和实体链接的解释信息的字符级向量表示,并融合这两部分的向量表示,以弥补短文本信息不足的缺点;
采用微调的预训练模型BERT来获取字符级语义信息;使用字符级嵌入代替词嵌入;
假设新闻标题短文本S长度为n,解释信息K长度为l,向量维度为d;若新闻标题或解释信息的长度不够长,则使用
代表新闻标题短文本S中的第i个单词的d维向量表示, 代表向量拼接操作;因此,语义增强后的特征表示矩阵步骤8:采用TextCNN提取多个连续单词之间的N‑grams特征,捕捉深层次的语义信息;
所述的TextCNN包括卷积层、池化层和全连接层;
卷积层采用 大小的卷积核作用于长度为n+l个单词的语义矩阵,得到深层次的语义特征;
ci=f(w·xi:i+h‑1+b)#(7)
这里 代表偏置项,f是非线性激活函数,最终就得到一个新的特征矩阵c;
c=[c1,c2,…,cn‑h+1]#(8)
池化层用来捕获最重要的特征值,并采用dropout随机初始化特征值为0;dropout是一种正则化手段,用来避免模型过拟合;将不同大小卷积核得到的特征矩阵拼接到一块,输入全连接层用于分类;
步骤9:通过softmax激活函数输出每个类别的概率值,得到最终的分类结果。