1.一种基于多样性模型的文本相关性判定方法,其特征在于,包括:获取第一文档与第二文档,分别进行预处理,其中,所述预处理包括去除特殊符号和乱码;将预处理后的第一文档和第二文档合并转化为数字序列,输入至少两个预训练模型中;所述至少两个预训练模型分别获取合并后数字序列的向量,并加入噪声层分别获得对应的特征向量;将所述特征向量分别送入softmax函数,获得各自的相关性矩阵;将所述各自的相关性矩阵加权求和,获得相关性判断结果。
2.根据权利要求1所述的方法,其特征还在于,所述对第一文档和第二文档分别进行预处理还包括,分别根据所要输入的所述至少两个预训练模型的各自的要求,截取部分内容。
3.根据权利要求1所述的方法,其特征还在于,所述至少两个预训练模型包括BERT、BERT-wwm、RoBERTa-large和RoBERTa-large-wwm中的任意两个或多个。
4.根据权利要求1所述的方法,其特征还在于,所述至少两个预训练模型分别获取合并后数字序列的向量包括合并后数字序列的句向量和字向量。
5.根据权利要求1所述的方法,其特征还在于,所述加入噪声层分别获得一特征向量包括以下步骤:从合并后文档的向量中得到CLS位置的句向量H0,以及序列的隐藏向量H1,H2,...,HK,对序列的隐藏向量进行平均池化和最大池化操作,得到平均池化后的向量Have和最大池化后的向量Hmax;使用前馈神经网络和softmax函数求取隐藏向量H1,H2,...,HK的权重α1,α2,...αK,其中,所述 gi=linear(Hi),linear为前馈神经网络;对各个隐藏向量加权求和 将H0、Have、Hmax和Hatt拼接为一特征向量H=[H0,Have,Hmax,Hatt]。
6.根据权利要求1所述的方法,其特征还在于,所述相关性矩阵是四列概率矩阵,每列概率分别表示相关性大小。
7.根据权利要求1所述的方法,其特征还在于,将所述各自的相关性矩阵加权求和为其中,N为预训练模型的种类数,N≥2,j是预训练模型序号,Sj表示预训练模型j的相关性矩阵,wj是预训练模型j的先验权值,并且
8.一种基于多样性模型的文本相关性判定的装置,其特征在于,包括:数据预处理模块,用于对文档先进行数据预处理;序列转化模块,用于将合并文档转化为数字序列,并将序列送入预训练模型;预训练模块,用于获取数字序列中的向量,并加入噪声层获取对应的特征向量;分类模块,用于获取相关性矩阵;模型加权融合模块,对相关性矩阵加权求和,获得相关性结果。
9.一种基于多样性模型的文本相关性判定方法的终端,其特征在于,包含权利要求8中所述的模块。