1.一种基于机器阅读理解的知识增强方法,其特征在于,包括以下步骤:S1:获取问题文本、待查找答案的第一文本及候选答案文本,所有的候选答案文本组成候选答案文本集;
S2:对问题文本、第一文本和候选答案文本分别进行编码处理后,进行拼接,得到文本语义向量;
S3:文本语义向量经第一多层感知机,计算第一文本和候选答案文本的相似度后,得到候选答案文本为正确答案的概率,所有的候选答案文本的概率,组成候选答案文本的概率分布;
S4:对候选答案文本的概率分布进行评估,得到置信度分数,
一种评估操作为,将候选答案文本的概率分布中的最大概率为正确答案的概率与第二大概率为正确答案的概率作差,得到置信度分数;
一种评估操作为,基于候选答案文本的概率,得到正确答案标签对应的概率,将正确答案标签对应的概率与预测概率进行对比,经预测模型迭代训练后,得到拟合后的正确答案标签对应的概率,以拟合后的正确答案标签对应的概率作为置信度分数;
S5:若置信度分数小于置信度阈值,则从第二文本中,根据字符串匹配规则,得到与问题文本相关的若干知识文本;分别对知识文本进行编码处理,得到若干知识向量;
将文本语义向量与知识向量进行融合,具体为,
以与问题文本相关的若干知识文本为节点,节点经边连接形成邻居节点,进行图的构建后,每个节点经线性变换后的特征传递至邻居节点,进行节点的更新,基于更新的节点,得到更新的子图,更新的子图进行池化后,得到更新的图和更新的知识向量;
分别计算文本语义向量与更新的知识向量的权重后,对文本语义向量与更新的知识向量进行加权求和,得到融合后的文本语义向量;
根据融合后的文本语义向量,经第二多层感知机预测答案的概率分布,将概率分布中最大概率对应的答案,作为预测答案;
若置信度分数不小于置信度阈值,则根据文本语义向量,经第一多层感知机预测答案的概率分布,将概率分布中最大概率对应的答案,作为预测答案。
2.根据权利要求1所述的基于机器阅读理解的知识增强方法,其特征在于,所述S4中,得到拟合后的正确答案标签对应的概率,具体为,根据公式: ,得到正确答案标签对应的概率,
根据公式: ,得到预测概率,
根据公式: ,将正确答案标签对应的概率
与预测概率进行对比后,得到损失值,根据损失值进行迭代训练,得到拟合后的正确答案标签对应的概率,式中, 为在训练阶段正确答案标签对应的概率; 代表新的训练任务中的预测概率; 代表新的训练任务中,通过均方误差作为损失函数的损失值; 为输入的样本; 为输入的样本对应的答案标签; 代表第n个输入的样本; 代表第n个输入的样本对应的答案标签; 为预测模型的参数; 与 代表可学习的参数; 代表经过L层Tranformer块得到的文本语义向量;N代表当前轮次的样本个数。
3.根据权利要求1所述的基于机器阅读理解的知识增强方法,其特征在于,所述S5中,得到融合后的文本语义向量,具体为,根据公式: ,对文本语义向量与更新的
知识向量进行加权求和,得到融合后的文本语义向量,
式中, 为融合后的文本语义向量, 为文本语义向量, 为更新的图, 为置信度分数,gate代表门控机制。
4.根据权利要求1所述的基于机器阅读理解的知识增强方法,其特征在于,所述S5中,根据融合后的文本语义向量,经第二多层感知机预测答案的概率分布,具体为,根据公式: ,预测答案的概率分布,
式中,W2、b2为置信度分数小于置信度阈值时第二多层感知机的可学习的参数,为融合后的文本语义向量, 为置信度分数小于置信度阈值时的答案的概率分布。
5.根据权利要求1所述的基于机器阅读理解的知识增强方法,其特征在于,所述S5中,根据文本语义向量,经第一多层感知机预测答案的概率分布,具体为,根据公式: ,预测答案的概率分布,式中,W1、b1为置信度分数不小于置信度阈值时第一多层感知机的可学习的参数, 为文本语义向量, 为置信度分数不小于置信度阈值时的答案的概率分布。
6.根据权利要求1所述的基于机器阅读理解的知识增强方法,其特征在于,所述S5中,根据字符串匹配规则,得到与问题文本相关的若干知识文本,具体为,对问题文本进行分词处理,得到若干个单词,根据字符串匹配规则,将若干个单词的词源形式与知识文本的词源形式进行匹配,若匹配成功,则将匹配成功的知识文本作为与问题文本相关的知识文本。
7.一种基于机器阅读理解的知识增强系统,其特征在于,包括:
获取模块:用于获取问题文本、待查找答案的第一文本及候选答案文本,所有的候选答案文本组成候选答案文本集;
预处理模块:用于对问题文本、第一文本和候选答案文本分别进行编码处理后,进行拼接,得到文本语义向量;
候选答案文本的概率分布组成模块:文本语义向量经第一多层感知机,计算第一文本和候选答案文本的相似度后,得到候选答案文本为正确答案的概率,所有的候选答案文本的概率,组成候选答案文本的概率分布;
评估模块:对候选答案文本的概率分布进行评估,得到置信度分数,
一种评估操作为,将候选答案文本的概率分布中的最大概率为正确答案的概率与第二大概率为正确答案的概率作差,得到置信度分数;
一种评估操作为,基于候选答案文本的概率,得到正确答案标签对应的概率,将正确答案标签对应的概率与预测概率进行对比,经预测模型迭代训练后,得到拟合后的正确答案标签对应的概率,以拟合后的正确答案标签对应的概率作为置信度分数;
答案预测模块:若置信度分数小于置信度阈值,则从第二文本中,根据字符串匹配规则,得到与问题文本相关的若干知识文本;分别对知识文本进行编码处理,得到若干知识向量;
将文本语义向量与知识向量进行融合,具体为,
以与问题文本相关的若干知识文本为节点,节点经边连接形成邻居节点,进行图的构建后,每个节点经线性变换后的特征传递至邻居节点,进行节点的更新,基于更新的节点,得到更新的子图,更新的子图进行池化后,得到更新的图和更新的知识向量;
分别计算文本语义向量与更新的知识向量的权重后,对文本语义向量与更新的知识向量进行加权求和,得到融合后的文本语义向量;
根据融合后的文本语义向量,经第二多层感知机预测答案的概率分布,将概率分布中最大概率对应的答案,作为预测答案;
若置信度分数不小于置信度阈值,则根据文本语义向量,经第一多层感知机预测答案的概率分布,将概率分布中最大概率对应的答案,作为预测答案。
8.一种基于机器阅读理解的知识增强装置,其特征在于,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1‑6中任一项所述的基于机器阅读理解的知识增强方法。
9.一种基于机器阅读理解的知识增强介质,其特征在于,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1‑6中任一项所述的基于机器阅读理解的知识增强方法。