利索能及
我要发布
收藏
专利号: 2021106829884
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种意图识别方法,其特征在于,包括:响应于意图识别指令,根据所述意图识别指令确定源域,并构建第一样本数据;

利用所述第一样本数据对Transformer模型进行预训练,得到特征提取模型;

确定目标任务,并获取与所述目标任务关联的数据作为第二样本数据;

将所述特征提取模型外接第一预设分类器,得到第一初始模型,并利用所述第二样本数据对所述第一初始模型进行监督学习,得到第一模型;

确定目标域,并获取所述目标域的数据作为第三样本数据;

将所述第一模型外接第二预设分类器,得到第二初始模型;

构建目标损失函数;

基于所述目标损失函数,并利用所述第三样本数据对所述第二初始模型进行对抗训练,得到意图识别模型;

获取待处理数据,将所述待处理数据输入至所述意图识别模型,并获取所述意图识别模型的输出作为目标意图。

2.根据权利要求1所述的意图识别方法,其特征在于,所述利用所述第一样本数据对Transformer模型进行预训练,得到特征提取模型包括:从所述第一样本数据中获取通用语料数据;

从所述通用语料数据中随机选择词,并将选择的词替换为mask;

随机打乱所述通用语料数据的句子关系;

根据所述mask对所述Transformer模型进行掩蔽预测训练,及利用打乱后得到的句子对所述Transformer模型进行下句预测训练,得到中间模型;

从所述第一样本数据中获取所述源域的数据,并利用所述源域的数据对所述中间模型进行再训练,得到所述特征提取模型。

3.根据权利要求1所述的意图识别方法,其特征在于,所述利用所述第二样本数据对所述第一初始模型进行监督学习,得到第一模型包括:将所述第二样本数据输入至所述特征提取模型进行特征提取,得到所述第二样本数据的嵌入向量表示;

获取所述第二样本数据中每个数据的标签;

将所述第二样本数据的嵌入向量表示作为训练样本,并根据每个数据的标签训练所述第一预设分类器,直至所述第一预设分类器的损失达到收敛,停止训练;

将当前的第一初始模型确定为所述第一模型。

4.根据权利要求1所述的意图识别方法,其特征在于,所述构建目标损失函数包括:为所述第一预设分类器构建类别分类损失函数;

构建域分类损失函数;

为所述类别分类损失函数配置第一权重,及为所述域分类损失函数配置第二权重;

根据所述第一权重、所述第二权重、所述类别分类损失函数及所述域分类损失函数计算加权和,得到所述目标损失函数。

5.根据权利要求4所述的意图识别方法,其特征在于,所述类别分类损失函数的公式如下:

其中, 表示所述类别损失函数, 表示所述第一预设分类器输出对应 标签的概率, 表示所述特征提取模型输出的嵌入向量表示, 表示第i个输入,表示 对应的标签,i为正整数。

6.根据权利要求5所述的意图识别方法,其特征在于,所述域分类损失函数的公式如下:

其中, 表示所述域分类损失函数, 表示域标签,表示所述第二预设分类器输出标签为 的概率。

7.根据权利要求1所述的意图识别方法,其特征在于,所述基于所述目标损失函数,并利用所述第三样本数据对所述第二初始模型进行对抗训练,得到意图识别模型包括:从所述第三样本数据中随机抽取预设比例的数据,并将抽取的数据的标签记录为所述源域的标签,得到第四样本数据;

利用所述第四样本数据对所述第二初始模型进行模拟反转梯度训练,直至所述目标损失函数的值不再减小,停止训练,得到所述意图识别模型。

8.一种意图识别装置,其特征在于,包括:构建单元,用于响应于意图识别指令,根据所述意图识别指令确定源域,并构建第一样本数据;

训练单元,用于利用所述第一样本数据对Transformer模型进行预训练,得到特征提取模型;

获取单元,用于确定目标任务,并获取与所述目标任务关联的数据作为第二样本数据;

学习单元,用于将所述特征提取模型外接第一预设分类器,得到第一初始模型,并利用所述第二样本数据对所述第一初始模型进行监督学习,得到第一模型;

所述获取单元,还用于确定目标域,并获取所述目标域的数据作为第三样本数据;

外接单元,用于将所述第一模型外接第二预设分类器,得到第二初始模型;

所述构建单元,还用于构建目标损失函数;

所述训练单元,还用于基于所述目标损失函数,并利用所述第三样本数据对所述第二初始模型进行对抗训练,得到意图识别模型;

所述获取单元,还用于获取待处理数据,将所述待处理数据输入至所述意图识别模型,并获取所述意图识别模型的输出作为目标意图。

9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的意图识别方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的意图识别方法。