1.一种基于BERT的机器阅读理解方法,其特征在于,包括:获取待训练的第一问题和多个候选文档,将所述第一问题分别与各个候选文档组合,生成待训练问题文档对;
根据所述待训练问题文档对训练第一预置预训练语言模型,生成文档排序模型;
根据所述待训练问题文档对训练预置多文档答案预测模型,生成阅读理解模型;
获取待预测问题文档对,其中,所述待预测问题文档对包括第二问题和所述第二问题对应的多个候选文档;
基于所述文档排序模型,根据所述待预测问题文档对,输出所述第二问题对应的目标文档;
基于所述阅读理解模型,根据所述第二问题和所述目标文档,获取所述阅读理解模型输出所述目标文档中的目标文本,并将所述目标文本作为所述第二问题的阅读理解答案;
其中,所述第一预置预训练语言模型包括字典文件、自注意力网络模型、结巴工具和中文分词工具;所述根据所述待训练问题文档对训练第一预置预训练语言模型,生成文档排序模型,包括:根据所述字典文件和所述待训练问题文档对,确定所述待训练问题文档对的第一文本向量信息;
根据所述自注意力网络模型和所述第一文本向量信息,获取所述第一文本向量信息对应的第一文本语义向量信息;
基于结巴工具,获取所述待训练问题文档对中第一问题和所述各个候选文档的位置特征向量信息;
确定所述待训练问题文档对中所述第一问题与所述各个候选文档的相同字词特征和非共同字词特征,得到对应的字词特征向量信息;
根据所述中文分词工具和所述待训练问题文档对,获取所述待训练问题文档对的命名实体特征向量信息;
根据所述第一文本语义向量信息、所述位置特征向量信息、所述相同字词特征向量信息和所述命名实体特征向量信息,得到所述待训练问题文档对的第一文本语义特征向量信息;
根据所述第一文本语义特征向量信息,得到对应的第一损失函数;
根据所述第一损失函数更新所述第一预置预训练语言模型的模型参数,生成文档排序模型。
2.如权利要求1所述的基于BERT的机器阅读理解方法,其特征在于,所述根据所述字典文件和所述待训练问题文档对,确定所述待训练问题文档对的第一文本向量信息,包括:根据所述字典对所述待训练问题文档对进行字词切分,得到所述待训练问题文档对中第一问题的第一问题序列以及所述各个候选文档的文档序列;
将所述第一问题序列和所述文档序列进行拼接,生成对应的第一文本序列;
将所述第一文本序列进行特征向量转换,得到对应的第一文本向量信息。
3.如权利要求1所述的基于BERT的机器阅读理解方法,其特征在于,所述根据所述自注意力网络模型和所述第一文本向量信息,获取所述第一文本向量信息对应的第一文本语义向量信息,包括:将所述第一文本向量信息输入所述自注意力网络模型,得到所述第一文本向量信息的各个语义空间的文本语义向量信息;
根据所述各个语义空间的文本语义向量信息,获取所述自注意力网络模型输出的第一文本语义向量信息。
4.如权利要求1所述的基于BERT的机器阅读理解方法,其特征在于,所述根据所述待训练问题文档对训练预置多文档答案预测模型,生成阅读理解模型,包括:确定所述待训练问题文档对的多个候选文档中与所述第一问题的答案最相似的目标候选文档,并将所述第一问题与所述目标候选文档组成新的问题文档对;
根据第二预置预训练语言模型,得到所述新的问题文档对的第二文本语义向量信息;
根据所述第二文本语义向量信息和预置带标签答案文档训练预置多文档答案预测模型,生成对应的阅读理解模型。
5.如权利要求4所述的基于BERT的机器阅读理解方法,其特征在于,所述根据所述第二文本语义向量信息和预置带标签答案文档训练预置多文档答案预测模型,生成对应的阅读理解模型,包括:将所述第二文本语义向量信息和预置带标签答案文档输入预置多文档答案预测模型,得到所述第二文本语义向量信息中目标文档的答案起始位置概率和答案结尾位置概率,以及所述预置带标签答案文档的答案起始位置概率和答案结尾位置概率;
根据所述目标文档的答案起始位置概率和答案结尾位置概率,以及预置带标签答案文档的答案起始位置概率和答案结尾位置概率,得到对应的第二损失函数;
根据所述第二损失函数和反向传播机制,更新所述预置多文档答案预测模型的模型参数,生成对应的阅读理解模型。
6.如权利要求1所述的基于BERT的机器阅读理解方法,其特征在于,基于所述阅读理解模型,根据所述第二问题和所述目标文档,获取所述阅读理解模型输出所述目标文档中的目标文本,包括:将所述第二问题和所述目标文档组成对应的第二问题文档对,并输入到所述阅读理解模型的输入层中;
基于所述阅读理解模型的概率预测层,预测所述目标文档中所述第二问题对应的多个答案起始位置概率和答案结束位置概率;
基于所述阅读理解模型的概率比对层,比对多个所述答案起始位置概率和所述答案结束位置概率,确定概率最高的目标起始位置和概率最高的目标结束位置;
基于所述阅读理解模型的输出层,获取所述输出层输出的所述目标文档中所述目标起始位置和所述目标结束位置对应的目标文本。
7.一种基于BERT的机器阅读理解装置,其特征在于,包括:第一生成模块,用于获取待训练的第一问题和多个候选文档,将所述第一问题分别与各个候选文档组合,生成待训练问题文档对;
第二生成模块,用于根据所述待训练问题文档对训练第一预置预训练语言模型,生成文档排序模型,其中,所述第一预置预训练语言模型包括字典文件、自注意力网络模型、结巴工具和中文分词工具,所述第二生成模块具体还用于:根据所述字典文件和所述待训练问题文档对,确定所述待训练问题文档对的第一文本向量信息;
根据所述自注意力网络模型和所述第一文本向量信息,获取所述第一文本向量信息对应的第一文本语义向量信息;
基于结巴工具,获取所述待训练问题文档对中第一问题和所述各个候选文档的位置特征向量信息;
确定所述待训练问题文档对中所述第一问题与所述各个候选文档的相同字词特征和非共同字词特征,得到对应的字词特征向量信息;
根据所述中文分词工具和所述待训练问题文档对,获取所述待训练问题文档对的命名实体特征向量信息;
根据所述第一文本语义向量信息、所述位置特征向量信息、所述相同字词特征向量信息和所述命名实体特征向量信息,得到所述待训练问题文档对的第一文本语义特征向量信息;
根据所述第一文本语义特征向量信息,得到对应的第一损失函数;
根据所述第一损失函数更新所述第一预置预训练语言模型的模型参数,生成文档排序模型;
第三生成模块,用于根据所述待训练问题文档对训练预置多文档答案预测模型,生成阅读理解模型;
第一获取模块,用于获取待预测问题文档对,其中,所述待预测问题文档对包括第二问题和所述第二问题对应的多个候选文档;
输出模块,用于基于所述文档排序模型,根据所述待预测问题文档对,输出所述第二问题对应的目标文档;
第二获取模块,用于基于所述阅读理解模型,根据所述第二问题和所述目标文档,获取所述阅读理解模型输出所述目标文档中的目标文本,并将所述目标文本作为所述第二问题的阅读理解答案。
8.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1至6中任一项所述的基于BERT的机器阅读理解方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1至6中任一项所述的基于BERT的机器阅读理解方法的步骤。