1.一种意图槽值双向交互的自然语言理解方法,其特征在于,所述意图槽值双向交互的自然语言理解方法,包括:采用BERT语义编码模块对用户输入的话语进行文本预处理,并进行语义编码,获得语I S义表示向量H,所述语义表示向量H包括意图语义表示向量H和槽语义表示向量H;
I IW
将意图表示向量H输入到意图注意力模块,生成语义增强的意图表示向量H ;
IW
通过自注意语义交互模块,双向交互语义增强的意图语义表示向量H 和槽语义表示向S量H,获得最终的意图语义表示向量和槽语义表示向量;
将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块,获得最后话语的意图和槽值,所述CRF语义解码模块包括两个分支,一个分支包括意图全连接神经网络模块,另一个分支包括槽全连接神经网络模块和CRF槽解码模块;
I
其中,所述将意图表示向量H 输入到意图注意力模块,生成语义增强的意图表示向量IWH ,包括:
I I
获取CRF语义解码模块中意图全连接神经网络的权重W,与意图语义表示向量H进行矩阵相乘,再经过softmax函数,获得softmax的输出α:I I
α=softmax(HW);
I I
然后将α与权重W 相乘再与意图语义表示向量H相加,获得经过意图注意力模块语义增IW强的意图语义表示向量H :IW I I
H =H+αW;
IW
所述通过自注意语义交互模块,双向交互语义增强的意图语义表示向量H 和槽语义表S示向量H,获得最终的意图语义表示向量和槽语义表示向量,包括:IW S
连接语义增强的意图语义表示向量H 和槽意图语义表示向量H ,获取语义表示向量ISH :
IS IW S
H =[H ,H];
IS
将H 经过h次线性映射获取Q、K和V矩阵;
IS Q
Qj=H Wj;
IS K
Kj=H Wj;
IS
Vj=H WjV;
Q K V
其中Wj、Wj和Wj是线性映射的参数,j∈1…h;
将获得的Q、K和V矩阵平行地进行缩放点乘注意力操作,获得自注意力头:IS
其中d表示语义表示向量H 的维度;
将获得的h个自注意力头进行连接,并经过一个线性映射,获得经过多头自注意力模块M语义增强的语义向量H:M O
H=concat(h1,h2,…,hh)W;
O
其中W是本次线性映射的参数;
M
将语义向量H与BERT语义编码模块输出的语义表示向量H相加,并进行层归一化layer normalization操作:M
H′=LayerNorm(H+H);
其中语义向量 为自注意语义交互模块的输出, 表示最终的意图语义表示向量, 表示最终的槽语义表示向量。
2.根据权利要求1所述的意图槽值双向交互的自然语言理解方法,其特征在于,所述采用BERT语义编码模块对用户输入的话语进行文本预处理,并进行语义编码,获得意图语义I S表示向量H和槽语义表示向量H,包括:对用户输入的话语进行分词,并在句子开始位置添加特殊标识符CLS,在句子末尾位置添加特殊标识符SEP,最后获得一个由t+1个单词组成的句子序列:X=(x0,x1,…,xT);
其中xi,i∈0,1,…,T表示句子中第i个单词;
然后对处理后的文本数据X进行语义编码,输入文本数据X,输出语义表示向量:I S
H=[H ,H];
I S
其中H表示意图语义表示向量,H表示槽语义表示向量。
3.根据权利要求1所述的意图槽值双向交互的自然语言理解方法,其特征在于,所述将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块,获得最后话语的意图和槽值,包括:将最终的意图语义表示向量 输入意图全连接神经网络模块,经过一个全连接神经网I络和softmax函数,将最终的意图语义表示向量映射到意图标签,输出意图标签y:I I
其中W和b为意图全连接神经网络中可训练的权重参数和偏置参数;
将槽语义表示向量 输入槽全连接神经网络模块,经过一个全连接神经网络和softmax函数,将最终的槽语义表示向量映射到CRF解码所需的发射概率上,输出发射概率Sp:
S S
其中W和b为全连接神经网络中可训练的权重参数和偏置参数;
S S
将发射概率p输入CRF槽解码模块,解码得到槽标签y:S S
y=CRF(p)。