利索能及
我要发布
收藏
专利号: 2022106725220
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种意图槽值双向交互的自然语言理解方法,其特征在于,所述意图槽值双向交互的自然语言理解方法,包括:采用BERT语义编码模块对用户输入的话语进行文本预处理,并进行语义编码,获得语I S义表示向量H,所述语义表示向量H包括意图语义表示向量H和槽语义表示向量H;

I IW

将意图表示向量H输入到意图注意力模块,生成语义增强的意图表示向量H ;

IW

通过自注意语义交互模块,双向交互语义增强的意图语义表示向量H 和槽语义表示向S量H,获得最终的意图语义表示向量和槽语义表示向量;

将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块,获得最后话语的意图和槽值,所述CRF语义解码模块包括两个分支,一个分支包括意图全连接神经网络模块,另一个分支包括槽全连接神经网络模块和CRF槽解码模块;

I

其中,所述将意图表示向量H 输入到意图注意力模块,生成语义增强的意图表示向量IWH ,包括:

I I

获取CRF语义解码模块中意图全连接神经网络的权重W,与意图语义表示向量H进行矩阵相乘,再经过softmax函数,获得softmax的输出α:I I

α=softmax(HW);

I I

然后将α与权重W 相乘再与意图语义表示向量H相加,获得经过意图注意力模块语义增IW强的意图语义表示向量H :IW I I

H =H+αW;

IW

所述通过自注意语义交互模块,双向交互语义增强的意图语义表示向量H 和槽语义表S示向量H,获得最终的意图语义表示向量和槽语义表示向量,包括:IW S

连接语义增强的意图语义表示向量H 和槽意图语义表示向量H ,获取语义表示向量ISH :

IS IW S

H =[H ,H];

IS

将H 经过h次线性映射获取Q、K和V矩阵;

IS Q

Qj=H Wj;

IS K

Kj=H Wj;

IS

Vj=H WjV;

Q K V

其中Wj、Wj和Wj是线性映射的参数,j∈1…h;

将获得的Q、K和V矩阵平行地进行缩放点乘注意力操作,获得自注意力头:IS

其中d表示语义表示向量H 的维度;

将获得的h个自注意力头进行连接,并经过一个线性映射,获得经过多头自注意力模块M语义增强的语义向量H:M O

H=concat(h1,h2,…,hh)W;

O

其中W是本次线性映射的参数;

M

将语义向量H与BERT语义编码模块输出的语义表示向量H相加,并进行层归一化layer normalization操作:M

H′=LayerNorm(H+H);

其中语义向量 为自注意语义交互模块的输出, 表示最终的意图语义表示向量, 表示最终的槽语义表示向量。

2.根据权利要求1所述的意图槽值双向交互的自然语言理解方法,其特征在于,所述采用BERT语义编码模块对用户输入的话语进行文本预处理,并进行语义编码,获得意图语义I S表示向量H和槽语义表示向量H,包括:对用户输入的话语进行分词,并在句子开始位置添加特殊标识符CLS,在句子末尾位置添加特殊标识符SEP,最后获得一个由t+1个单词组成的句子序列:X=(x0,x1,…,xT);

其中xi,i∈0,1,…,T表示句子中第i个单词;

然后对处理后的文本数据X进行语义编码,输入文本数据X,输出语义表示向量:I S

H=[H ,H];

I S

其中H表示意图语义表示向量,H表示槽语义表示向量。

3.根据权利要求1所述的意图槽值双向交互的自然语言理解方法,其特征在于,所述将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块,获得最后话语的意图和槽值,包括:将最终的意图语义表示向量 输入意图全连接神经网络模块,经过一个全连接神经网I络和softmax函数,将最终的意图语义表示向量映射到意图标签,输出意图标签y:I I

其中W和b为意图全连接神经网络中可训练的权重参数和偏置参数;

将槽语义表示向量 输入槽全连接神经网络模块,经过一个全连接神经网络和softmax函数,将最终的槽语义表示向量映射到CRF解码所需的发射概率上,输出发射概率Sp:

S S

其中W和b为全连接神经网络中可训练的权重参数和偏置参数;

S S

将发射概率p输入CRF槽解码模块,解码得到槽标签y:S S

y=CRF(p)。