1.一种命名实体识别模型的双级对比学习训练方法,其特征在于,所述方法包括:获取第一训练文本语句;
通过预训练后的第一命名实体识别模型对所述第一训练文本语句处理,得到所述第一训练单词特征是否为实体向量的分类结果;所述第一命名实体识别模型包括第一编码器和第一分类器;
通过对具有实体向量的所述第一训练文本语句打标,得到第二训练文本语句;所述第二训练文本语句具有第二实体类别标签,所述第二实体类别标签用于指示所述第二训练文本语句的训练单词的类别;
通过预训练后的第二命名实体识别模型对所述第二训练文本语句处理,得到所述第二训练文本语句的实体类型;所述第二命名实体识别模型包括第二编码器和softmax层;通过所述第二编码器提取每个第二实体类别标签的原型向量以及所述第二训练文本语句的第二训练单词特征;通过所述softmax层计算每个第二训练单词特征与相应第二实体类别标签的原型向量之间的距离,得到第二训练文本语句的每个第二训练单词特征的实体类型;
通过每个实体类别标签的原型向量与相应第二训练单词特征之间的对比距离,以及各个第二训练单词特征之间的对比距离,计算得到双级对比学习损失;
基于所述双级对比学习损失对所述命名实体识别模型的参数调整后继续进行训练,直至模型训练结束,得到训练完成的第二命名实体识别模型。
2.根据权利要求1所述的一种命名实体识别模型的双级对比学习训练方法,其特征在于,所述第一命名实体识别模型的预训练过程包括:获取携带实体位置标签的第三训练文本语句;所述实体位置标签用于指示所述第三训练文本语句的训练单词是否为实体向量;
通过第一编码器提取所述第三训练文本语句的第三训练单词特征,得到第三训练单词特征集合;
通过第一分类器识别所述第三训练单词特征集合中各个训练单词特征,得到所述第三训练单词特征是否为实体向量的分类结果;
通过所述第三训练单词特征是否为实体向量的分类结果与所述第三训练文本语句的实体位置标签计算交叉熵损失;
通过所述交叉熵损失,对所述第一命名实体识别模型进行预训练。
3.根据权利要求1所述的一种命名实体识别模型的双级对比学习训练方法,其特征在于,得到每个第二实体类别标签的原型向量的过程包括:通过大语言模型或者词典去检索所述第二实体类别标签的近义词或/和子领域词;
将每个所述第二实体类别标签及其近义词或/和子领域词分别构成相应的自然语言词语集合;
将所述自然语言词语集合中的每个词语分别作为所述第二实体类别标签的扩充实体类别标签;
将所述第二实体类别标签的扩充实体类别标签分别通过所述第二编码器,得到所述第二实体类别标签的原型向量。
4.根据权利要求3所述的一种命名实体识别模型的双级对比学习训练方法,其特征在于,得到每个第二实体类别标签的原型向量的过程还包括:获取多个携带第四实体类别标签的第四训练文本语句;所述第四实体类别标签用于指示所述第四训练文本语句的第四训练单词的类别;
将所述第四训练文本语句通过第二编码器,得到所述第四训练文本语句的第四训练单词特征;
若所述第二实体类别标签与所述第四实体类别标签相同,则将所述第四训练单词特征与所述第二实体类别标签的原型向量叠加,得到更新后的每个第二实体类别标签的原型向量。
5.根据权利要求4所述的一种命名实体识别模型的双级对比学习训练方法,其特征在于,更新后的每个第二实体类别标签的原型向量的计算方式表示为:其中, 表示更新后的第j个类别的第二实体类别标签的原型向量,λ1是一个超参数,n表示第二实体类别标签的自然语言词语集合中词语数量,wi表示第二实体类别标签的自然语言词语集合中第i个词语; 表示第二编码器,Zj是指第四训练文本语句的第j个类别的第四实体类别标签与第二实体类别标签相同的词语,z表示Zj中的词。
6.根据权利要求1或5所述的一种命名实体识别模型的双级对比学习训练方法,其特征在于,所述通过所述softmax层计算每个第二训练单词特征与相应第二实体类别标签的原型向量之间的距离,得到第二训练文本语句的每个第二训练单词特征的实体类型所采用的计算公式表示为:其中,ypred表示第二训练文本语句的每个第二训练单词特征的实体类型,hi表示第二单词训练单词特征, 表示更新后的第j个类别的第二实体类别标签的原型向量,T表示所有类别。
7.根据权利要求1所述的一种命名实体识别模型的双级对比学习训练方法,其特征在于,所述方法还包括:通过每个实体类别标签的原型向量与相应第二训练单词特征之间的绝对距离,计算得到距离损失;
基于所述双级对比学习损失和所述距离损失对所述第二命名实体识别模型的参数调整后继续进行训练,直至模型训练结束,得到训练完成的命名实体识别模型。
8.一种命名实体识别模型的双级对比学习训练装置,其特征在于,所述装置包括:第一获取模块,用于获取第一训练文本语句;
第一识别模块,用于通过预训练后的第一命名实体识别模型对所述第一训练文本语句处理,得到所述第一训练单词特征是否为实体向量的分类结果;所述第一命名实体识别模型包括第一编码器和第一分类器;
第一处理模块,用于通过对具有实体向量的所述第一训练文本语句打标,得到第二训练文本语句;所述第二训练文本语句具有第二实体类别标签,所述第二实体类别标签用于指示所述第二训练文本语句的训练单词的类别;
第二识别模块,通过预训练后的命名实体识别模型对所述第二训练文本语句处理,得到所述第二训练文本语句的实体类型;所述命名实体识别模型包括第二编码器和softmax层;通过所述第二编码器提取每个第二实体类别标签的原型向量以及所述第二训练文本语句的第二训练单词特征;通过所述softmax层计算每个第二训练单词特征与相应第二实体类别标签的原型向量之间的距离,得到第二训练文本语句的每个第二训练单词特征的实体类型;
第二处理模块,用于通过每个实体类别标签的原型向量与相应第二训练单词特征之间的对比距离,以及各个第二训练单词特征之间的对比距离,计算得到双级对比学习损失;基于所述双级对比学习损失对所述命名实体识别模型的参数调整后继续进行训练,直至模型训练结束,得到训练完成的命名实体识别模型。