利索能及
我要发布
收藏
专利号: 202210080808X
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-03-03
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于预训练模型和图卷积神经网络的知识问答方法,其特征在于,包括:S1:获取问题信息,根据问题信息构建知识子图;

S2:根据问题信息,采用PageRank算法计算外部知识图谱中所有实体的PageRank得分;

将PageRank得分最高的N个实体添加到知识子图中;计算实体的PageRank得分的公式为:其中,PR(u)表示实体u的PageRank得分,PR(v)表示实体v的PageRank得分,Wv表示实体u与实体v之间的关系权重,Ne(u)表示实体u的邻接实体集合;

S3:采用预训练模型对问题进行编码,得到初始问题向量;采用预训练模型对问题进行编码的过程包括:采用RoBERTa预训练模型将问题嵌入768维度的向量,得到问题的向量表示;将问题的向量表示输入到四个全连接层中并采用ReLU激活函数进行处理,得到初始问题向量;

S4:采用图卷积神经网络对知识子图进行编码,得到初始实体向量;采用图卷积神经网络对知识子图进行编码的公式为:其中, 表示实体v经过第j+1层图卷积神经网络后的状态, 表示实体v的邻接实(j) (j)体u经过第j层图卷积神经网络后的状态,W 表示第一可训练参数,b 表示第二可训练参数,Ne(v)表示实体v的邻接实体集合;

S5:根据初始问题向量和初始实体向量,采用PageRank控制传播机制对知识子图进行更新,得到更新后的知识子图;PageRank控制传播机制的公式为:其中, 表示实体v初始PageRank得分,|ε|表示问题里中心实体的个数,ε表示中心实体集, 表示实体v第l次迭代时的PageRank得分, 表示超参数,αvv′表示实体v的邻接实体v'对实体v的重要程度, 表示实体v的邻接实体v′第l‑1次迭代时在知识子图上的PageRank得分;

对知识子图进行更新的公式为:

其中, 表示实体v第l次迭代时的表征, 表示问题q第l‑1次迭代时的表征, 表r示实体v的邻接实体v′第l‑1次迭代时在知识子图上的PageRank得分,h 表示实体v的邻接实体v′与实体v之间关系r的向量表示;

S6:采用sigmoid函数计算更新后的知识子图中所有关系的关系得分,将关系得分大于

0.5的关系组成知识子图关系集合;计算知识子图中所有关系的关系得分的公式为:q

其中,S表示关系得分,h表示问题向量;

S7:获取问题的答案集合,根据知识子图从答案集合中选取候选答案并得到候选答案实体;根据候选答案实体和中心实体得到问答关系集合,根据知识子图关系集合和问答关系集合得到初始问答匹配分数;从答案集合中选取候选答案的公式为:其中,{a}q表示问题的答案集合,G表示知识子图,σ表示sigmoid函数,W表示第三可训练参数,b表示第四可训练参数,Pr(v∈{a}q|G,q)表示在知识子图G中实体v是问题q的答案的概率;

计算初始问答匹配分数的公式为:

Score=|Ra∩Ra′|

其中,Score表示初始问答匹配分数,Ra表示知识子图关系集合,Ra′表示问答关系集合,|Ra∩Ra′|表示知识子图关系集合与问答关系集合的交集中的元素个数S8:根据初始问答匹配分数和候选答案分别计算问题与每个候选答案的最终问答匹配分数,选择最终问答匹配分数最高的候选答案作为问题的答案;计算最终问答匹配分数的公式为:a

其中,φ表示最终问答匹配分数,h表示候选答案向量。