利索能及
我要发布
收藏
专利号: 202211571399X
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于全局‑局部对比学习的跨语言自然语言理解方法,其特征在于:该方法包括以下步骤:S1、生成原始话语序列,根据跨语言字典将原始话语序列翻译为正样本,将正样本输入到跨语言预训练模型中得到对应的编码表示;

S2、根据经过编码的原始话语序列、正样本以及前一时刻的负样本生成负样本队列,将负样本队列输入到跨语言预训练模型中得到对应的编码表示;

S3、通过建立损失函数来构建局部句子级意图对比学习模块,实现跨语言句子表示对齐;

S4、通过建立损失函数来构建局部字符级槽位对比学习模块,实现跨语言字符表示对齐;

S5、通过建立损失函数来构建全局语义级意图‑槽位对比学习模块,实现意图和槽位的表示对齐,完成跨语言理解;

在步骤S5中,通过设计损失函数来构建全局语义级意图‑槽位对比学习模块,损失函数设计如下所述:首先分别构建针对原始话语序列和正样本序列的损失函数:

式中, 表示针对原始话语序列的损失函数, 表示针对正样本的损失函数,n表示原始话语序列的长度,hCLS表示原始话语话语序列开始标志位的向量表示,hj表示原始话语序列中位置j处字符的向量表示, 表示负样本队列中位置j处字符的向量表示, 表示正样本中位置j处字符的向量表示,K表示负样本队列的最大容量;

结合损失函数 和 得到针对语义级对比学习的损失函数

然后分别构建针对意图检测的损失函数 以及针对槽位填充的损失函数Y Y Y Y Y

式中,σ=softmax(WhCLS+b),其中,W和b表示可训练的参数, 表示意图标签,表示针对位置为i的字符的槽位标签的预测值, 表示针对位置为i的字符的槽位标签的实际值,nY表示意图标签的数量,nC表示槽位标签的数量;

最后结合损失函数 和 得到全局语义级意图‑槽位对比学习的总体损失函数:

式中,λ表示可训练的参数。

2.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S1中,对于原始话语序列中的每个字符,在跨语言字典中随机选择相应的翻译字符进行替换以生成正样本;

将正样本输入到预训练模型中,通过其中的双向循环神经网络生成隐层状态表示hi=emb embBiLSTM(θ (xi),hi‑1,hi+1),其中θ 表示向量化函数,最终可得到针对正样本的编码表示为:式中, 分别表示正样本开始标志位的向量表示和结束标志位的向量表示,表示正样本中各字符被编码后形成的向量表示。

3.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S2中,将负样本输入到预训练模型中得到的编码表示为:式中,K表示负样本队列的最大容量, 表示负样本队列开始标志位的向量表示,表示负样本队列中各字符被编码后形成的向量表示。

4.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S3中,通过设计损失函数来构建局部句子级意图对比学习模块,损失函数如下式:式中,s([],[])表示点积操作,hCLS表示原始话语序列开始标志位的向量表示, 表示正样本中开始标志位的向量表示, 表示负样本队列中开始标志位的向量表示,K表示负样本队列的最大容量。

5.根据权利要求1所述的跨语言自然语言理解方法,其特征在于:在步骤S4中,通过设计损失函数来构建局部字符级槽位对比学习模块,损失函数如下式:式中,s([],[])表示点积操作,n表示原始话语序列的长度,hi表示原始话语序列中位置i处字符的向量表示, 表示正样本中位置j处字符的向量表示, 表示负样本队列中位置j处字符的向量表示,K表示负样本队列的最大容量。

6.根据权利要求5所述的跨语言自然语言理解方法,其特征在于:在局部字符级槽位对比学习模块中,最终的损失 为所有字符损失函数的总和。