利索能及
我要发布
收藏
专利号: 2021110699652
申请人: 内蒙古工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法,其特征在于,步骤如下:步骤1,利用机器翻译将蒙语查询问句翻译为汉语查询问句;

步骤2,将汉语查询问句分句和分词后进行词性标注;

步骤3,将词性标注后的汉语问题语句转换成汉语查询语句,输入认知图谱服务器;

步骤4,所述认知图谱服务器模拟认知学中人类的认知系统,使用三个通道进行并行计算,其中通道1在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点,汇总语义向量;通道2在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点,同时将实体与知识图谱中实体的三元组信息进行链接,如果实体不是通用知识库中的实体,则与专业知识库中的实体进行链接,最后汇总语义向量;通道3利用图神经网络在认知图谱上进行推理计算;

步骤5,通过归一化、查询排序和查询选择,给出概率最大的答案,返回结果;

其中,所述通道1采用ALBERT模块,所述ALBERT模块是在BERT基本模型结构的基础上:引入词向量因式分解方法解耦合词向量维度E和Transformer隐含层维度H,从而使H≠E;

引入跨层参数共享机制,使得每一层Transformer的权重均相同;

引入句子顺序预测的预训练任务取代BERT基本模型结构中的NSP任务,正例的构成与NSP一致,而负例的构成是直接对调两个文本片段的位置,从而能够学习到细微的语义差别及语篇连贯性;

所述通道2采用链接通用开源知识图谱的K‑BERT模块,在K‑BERT模块中,先将句子树平铺,然后通过软位置编码恢复句子树的顺序信息,并使用可见矩阵将图或树结构中的结构信息引入到BERT模型中;

所述通道3采用图注意力网络模块,以注意力机制替代图卷积中对邻节点特征的标准化求和操作,用注意力机制对邻近节点特征 即被所有节点共享的权重矩阵和第i个节点第l层的特征 相乘,最后加权求和;

所述K‑BERT模块中,对于一个可见矩阵M,相互可见的点取值为0,相互不可见的点取值为负无穷,将M加到计算self‑attention的softmax函数里,公式如下:i+1 i+1 i

h =F (hWr)

其中,Wp,Wq,Wr是已训练的模型权重参数;

i

h是第i个自注意力掩码块的隐状态;

i+1

F 是中间变量;

如果两个词之间相互不可见,则它们之间的影响系数F[i,j]=0,即这两个词的隐状态h相互独立,从而将句子树中的结构信息输入给BERT;

所述图注意力网络模块中,其图数据结构有两种特征:对于任意一个顶点i,它在图上的邻居Ni,构成第一种特征,即图的结构关系;

除了图的结构关系之外,每个顶点还有自己的特征hi;

图注意力网络模块中节点更新计算通常分为两个步骤:

1)计算注意力系数

对于顶点i,逐个计算i与其邻居j之间的相似系数:(l)

W 是节点特征转换的权重矩阵;

是GAT输出的对于每个顶点i的特征;

是中间变量;

LeakyReLU是整流函数;

a(·)是一个映射;

是相似系数;

共享参数W的线性映射对顶点的特征进行了增维;

对顶点i,j变换后的特征进行了拼接;

最后将a(·)拼接后的高维特征映射到一个实数上;

即相似系数是通过可学习的参数W和映射a(·)实现学习顶点i,j之间的相关性;

最后用softmax函数进行归一化处理,即得到注意力系数,公式如下:

2)加权求和

根据计算好的注意力系数,将特征加权求和,公式如下:是GAT输出的对于每个顶点i的新特征,其整合了邻域信息;

σ()是激活函数;

是与节点i距离为1的所有邻节点的集合;

最后引入多头注意力机制将 拼接在一起。

2.根据权利要求1所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法,其特征在于,所述步骤2,使用Jieba和LTP工具包进行分句和分词,使用LTP工具包进行词性标注,所述步骤3,利用查询语句匹配模板,通过SPARQL查询将汉语查询语句输入认知图谱服务器。

3.根据权利要求1所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法,其特征在于,所述知识图谱使用基于端到端神经网络模型进行查询和问答,将汉语查询语句中出现的单词、知识图谱中的候选实体和关系类型均映射到低维的向量空间,使得问题和相应的答案在向量空间中彼此接近,其中,候选答案实体利用三种向量进行表示:答案实体本身,答案实体与主实体关系路径,与答案实体相关子图,然后,通过所述表示计算问题和候选答案的相关度,以选出正确答案。

4.根据权利要求1所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法,其特征在于,所述步骤1使用ALBERT模块和GAT优化后的机器翻译结合蒙汉双语语料将蒙古语翻译成汉语。

5.根据权利要求1所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法,其特征在于,通道1和通道2的输入有三个来源:问题、线索、段落;

问题即查询语句本身,从问题中抽取出的与现实世界相对应含义的词向量为实体X,x表示一个实体或候选答案,在认知图谱中则被称为节点x;

线索是指来自于前一个节点x在百科文档中被提及到的相关句子;

段落是指在处理之前会先根据问题在语料即百科文档中检索出的少量相关段落,再将这些段落送入通道1和通道2进行处理;

通道2的三个输入来源首先会经过一个知识层,将知识图谱中的三元组信息链接后形成句树,将图结构中的结构信息输入到BERT中,送入下游任务进行处理;

通道1和通道2的目标是抽取百科文档中的下一跳实体名称和答案候选,抽取到的实体和答案候选将作为节点添加到认知图谱中;每一个抽取出的下一跳实体名称或答案候选将在认知图谱中建立一个新的点,并进行下一步迭代。

6.根据权利要求5所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法,其特征在于,所述通道1还计算当前实体X的语义向量,并将计算结果在通道3中用作关系推理的初始值,每一个抽取出的下一跳实体名称或答案候选将在认知图谱中建立一个新的点,此时通道3在认知图谱上使用GAT进行隐式推理计算,计算过程如下:每一步迭代,前续节点将变换过的信息传递给下一跳节点,并更新目前的隐表示,最终所有的答案候选点的隐表示将通过一个带有softmax函数的全连接网络来判断哪个是最终答案;

在认知图谱扩展过程中,如果某被访问节点出现新的父节点,表明此点获得新的线索信息,需要重新扩展计算,最终借助前沿点队列形式实现。