1.一种基于双向注意力机制的知识图谱补全方法,其特征是,包括如下步骤:步骤1:根据已经存在的新冠开放知识图谱数据集,构造训练所需的双向关系语料库;
其中新冠开放知识图谱数据集是带标签的有向图,图中的每个节点表示实体,而每条边则表示关系;双向关系语料库包括实体集合、关系集合和三元组集合;其中实体集合包括头实体和尾实体,关系集合包括正关系和逆关系,三元组集合包括正向三元组和逆向三元组;
步骤2:提取双向关系语料库的实体集合和关系集合;将实体集合中的每一个实体初始化为一个实体嵌入向量,并将所有实体嵌入向量组成实体嵌入矩阵;将关系集合中的每一个关系初始化为一个关系嵌入向量,得到所有关系嵌入向量组成关系嵌入矩阵;
步骤4.1:对于训练数据集中的所有正向三元组t(i,k,j),从当前实体嵌入矩阵和当前关系嵌入矩阵找到其实体和关系的向量表示,得到三元组的嵌入表示(ei,rk,ej);同理,对于训练数据集中的所有逆向三元组 从当前实体嵌入矩阵和当前关系嵌入矩阵找到其实体和关系的向量表示,得到三元组的嵌入表示(ej,rk,ei);
步骤4.2:基于正向三元组t(i,k,j)的嵌入表示(ei,rk,ej)利用初始化的第一权重矩阵W1学习正向三元组t(i,k,j)的特征映射向量vikj;同理,基于逆向三元组 的嵌入表示(ej,rk,ei)利用初始化的第一权重矩阵W1学习逆向三元组 的特征映射向量 其中:vikj=W1[ei||rk||ej],步骤4.3:利用初始化的第二权重矩阵W2对正向三元组t(i,k,j)的特征映射向量vikj再次进行特征映射,并使用激活函数LeakyReLU计算正向三元组t(i,k,j)的初始注意力值hikj;同理,利用初始化的第二权重矩阵W2对逆向三元组 的特征映射向量 再次进行特征映射,并使用激活函数LeakyReLU计算逆向三元组 的初始注意力值 其中:hikj=LeakyReLU(W2vikj),步骤4.4:分别对正向三元组t(i,k,j)的初始注意力值hikj和逆向三元组 的初始注意力值 进行归一化,得到正向三元组t(i,k,j)的归一化注意力值αikj和逆向三元组 的归一化注意力值
步骤4.5:对实体嵌入矩阵和关系嵌入矩阵进行更新;其中:实体嵌入矩阵的第i个实体嵌入向量的更新公式为:关系嵌入矩阵的第k个正关系嵌入向量的更新公式为:关系嵌入矩阵的第k个逆关系嵌入向量的更新公式为:* *
式中,ei 表示更新后的第i个实体嵌入向量;rk 表示更新后的第k个正关系嵌入向量;
表示更新后的第k个逆关系嵌入向量;ei表示更新前的第i个实体嵌入向量;ej表示更新前的第j个实体嵌入向量;σ(·)表示ELU激活函数;αikj表示正向三元组t(i,k,j)的归一化注意力值αikj, 表示逆向三元组 的归一化注意力值;vikj表示正向三元组t(i,k,j)的特征映射向量, 表示逆向三元组 的特征映射向量; 表示以ei为头实体的正向三元组t(i,k,j)的尾实体集合, 表示以ei为头实体的正向三元组t(i,k,j)的关系集合, 表示以ei为尾实体的逆向三元组 的头实体集合, 表示以ei为尾实体的逆向三元组 的关系集合; 表示以rk为关系的正向三元组t(i,k,j)的集合, 表示以 为关系的逆向三元组的集合;
步骤3:先从双向关系语料库的三元组集合中抽取一定数量的三元组作为可用三元组,再对这些可用三元组的头实体或尾实体进行随机替换生成错误三元组,后将所有的可用三元组与所有的错误三元组构成训练数据集;
步骤4:对于当前实体嵌入矩阵和当前关系嵌入矩阵,通过双向图注意力机制学习不同实体间的双向注意力值,以更新当前实体嵌入矩阵和当前关系嵌入矩阵;
步骤5:基于当前实体嵌入矩阵和当前关系嵌入矩阵,通过损失函数计算训练数据集中所有三元组的损失值:若损失值小于预设的损失阈值,则将当前实体嵌入矩阵和当前关系嵌入矩阵作为最终实体嵌入矩阵和最终关系嵌入矩阵,并转至步骤6;否则,返回步骤4;
步骤6:根据最终实体嵌入矩阵和最终关系嵌入矩阵,对新冠开放知识图谱数据集进行补全操作,即:
利用给定的头实体和给定的关系,依次将双向关系语料库中的实体集合中实体视为尾实体,并通过三元组评分函数计算该三元组的评分,并将评分最高的尾实体作为所预测的尾实体;
利用给定的尾实体和给定的关系,依次将双向关系语料库中的实体集合中实体视为头实体,并通过三元组评分函数计算该三元组的评分,并将评分最高的头实体作为所预测的头实体;
步骤7:利用补全后的新冠开放知识图谱数据集进行链接预测,即通过知识图谱现有的信息来预测没有关系的实体之间是否存在隐藏的关系。
2.根据权利要求1所述一种基于双向注意力机制的知识图谱补全方法,其特征是,步骤
2中,每个实体嵌入向量的维度与每个关系嵌入向量的维度相同。
3.根据权利要求1所述一种基于双向注意力机制的知识图谱补全方法,其特征是,步骤
3中,每个可用三元组对应生成20个错误三元组。
4.根据权利要求1所述一种基于双向注意力机制的知识图谱补全方法,其特征是,步骤
5中,损失函数为最大间隔函数。