1.一种基于深度学习的场景自适应Attention多意图识别方法,其特征在于,包括以下步骤:步骤1,实时获取当前用户输入的多意图文本,并进行向量化处理;
步骤2,构建多层Bi‑IndRNN神经网络模型,用来提取向量化处理后的多意图文本的语义特征;
步骤3,构建场景自适应Attention语义增强模型,用来利用特定场景特征增强步骤2提取的语义特征;
步骤4,构建多意图分类器,用来对步骤3增强后的语义特征进行分类,以识别用户的多个意图;
所述步骤2中,多层Bi‑IndRNN神经网络模型的构建是利用残差连接机制将IndRNN多层堆叠,用来提取向量化处理后的多意图文本的语义特征;在IndRNN的基础上设置前向IndRNN单元和后向IndRNN单元,分别用来提取向量化处理后的多意图文本从前到后的语义特征和从后向前的语义特征,利用未来的语义特征增强当前的语义特征;
所述步骤3中,场景自适应Attention语义增强模型的构建是基于场景自适应Attention机制的权重,场景自适应注意力权重ait的计算方法如下所示:(1)将多层Bi‑IndRNN神经网络模型的输出记为uit,则uit=tanh(Wwhit+bw),其中,Ww为多层Bi‑IndRNN神经网络模型权重,bw为多层Bi‑IndRNN神经网络模型偏置,hit为多层Bi‑IndRNN神经网络模型最后一层隐藏层状态;
2)将某一特定场景下的场景自适应Attention机制的得分输入到softmax函数中进行归一化处理,得到场景自适应Attention机制的权重ait:式中,t表示时刻,uw是场景自适应Attention语义增强模型的权重向量,mi是某一特定场景下的第i类服务类型,pj是某一特定场景下的第j类服务对象,λ是某种服务类型与某种服务对象的相关系数。
2.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法,其特征在于,所述步骤1中,利用基于同领域海量中文无监督语料训练得到的BERT模型对多意图文本进行向量化处理。
3.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法,其特征在于,利用场景自适应Attention机制的权重,对多层Bi‑IndRNN神经网络模型提取的语义特征进行增强:式中,C表示场景自适应Attention语义增强模型的输出。
4.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法,其特征在于,λ的计算方法为:式中,M=(m1,m2,...,mn)表示由m1,m2,...,mn构成的向量,P=(p1,p2,...,pv)表示由p1,p2,...,pv构成的向量, 分别表示M、P的均值。
5.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法,其特征在于,所述步骤4中,多意图分类器的构建具体如下所示:在场景自适应Attention语义增强模型后面增加全连接层,全连接层后用sigmoid激活函数输出分类结果。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的场景自适应Attention多意图识别方法。
7.一种基于深度学习的场景自适应Attention多意图识别系统,其特征在于,包括:存储器和处理器;所述存储器上存储有计算机程序,当所述计算机程序被所述处理器执行时,实现如权利要求1至5中任一所述的场景自适应Attention多意图识别方法。