1.一种基于全局‑局部对比学习的跨语言自然语言理解方法,其特征在于:该方法包括以下步骤:S1、生成原始话语序列,根据跨语言字典将原始话语序列翻译为正样本,将正样本输入到跨语言预训练模型中得到对应的编码表示;
S2、根据经过编码的原始话语序列、正样本以及前一时刻的负样本生成负样本队列,将负样本队列输入到跨语言预训练模型中得到对应的编码表示;
S3、通过建立损失函数来构建局部句子级意图对比学习模块,实现跨语言句子表示对齐;
S4、通过建立损失函数来构建局部字符级槽位对比学习模块,实现跨语言字符表示对齐;
S5、通过建立损失函数来构建全局语义级意图‑槽位对比学习模块,实现意图和槽位的表示对齐,完成跨语言理解;
在步骤S5中,通过设计损失函数来构建全局语义级意图‑槽位对比学习模块,损失函数设计如下所述:首先分别构建针对原始话语序列和正样本序列的损失函数:
式中, 表示针对原始话语序列的损失函数, 表示针对正样本的损失函数,n表示原始话语序列的长度,hCLS表示原始话语话语序列开始标志位的向量表示,hj表示原始话语序列中位置j处字符的向量表示, 表示负样本队列中位置j处字符的向量表示, 表示正样本中位置j处字符的向量表示,K表示负样本队列的最大容量;
结合损失函数 和 得到针对语义级对比学习的损失函数
然后分别构建针对意图检测的损失函数 以及针对槽位填充的损失函数Y Y Y Y Y
式中,σ=softmax(WhCLS+b),其中,W和b表示可训练的参数, 表示意图标签,表示针对位置为i的字符的槽位标签的预测值, 表示针对位置为i的字符的槽位标签的实际值,nY表示意图标签的数量,nC表示槽位标签的数量;
最后结合损失函数 和 得到全局语义级意图‑槽位对比学习的总体损失函数:
式中,λ表示可训练的参数。
2.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S1中,对于原始话语序列中的每个字符,在跨语言字典中随机选择相应的翻译字符进行替换以生成正样本;
将正样本输入到预训练模型中,通过其中的双向循环神经网络生成隐层状态表示hi=emb embBiLSTM(θ (xi),hi‑1,hi+1),其中θ 表示向量化函数,最终可得到针对正样本的编码表示为:式中, 分别表示正样本开始标志位的向量表示和结束标志位的向量表示,表示正样本中各字符被编码后形成的向量表示。
3.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S2中,将负样本输入到预训练模型中得到的编码表示为:式中,K表示负样本队列的最大容量, 表示负样本队列开始标志位的向量表示,表示负样本队列中各字符被编码后形成的向量表示。
4.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S3中,通过设计损失函数来构建局部句子级意图对比学习模块,损失函数如下式:式中,s([],[])表示点积操作,hCLS表示原始话语序列开始标志位的向量表示, 表示正样本中开始标志位的向量表示, 表示负样本队列中开始标志位的向量表示,K表示负样本队列的最大容量。
5.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S4中,通过设计损失函数来构建局部字符级槽位对比学习模块,损失函数如下式:式中,s([],[])表示点积操作,n表示原始话语序列的长度,hi表示原始话语序列中位置i处字符的向量表示, 表示正样本中位置j处字符的向量表示, 表示负样本队列中位置j处字符的向量表示,K表示负样本队列的最大容量。
6.根据权利要求5所述的跨语言自然语言理解方法,其特征在于:在局部字符级槽位对比学习模块中,最终的损失 为所有字符损失函数的总和。