利索能及
我要发布
收藏
专利号: 2022112154768
申请人: 杭州芯声智能科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于参数共享的自然语言理解方法,其特征在于,建立具备多个编码器的自然语言理解模型,并对自然语言理解模型进行模型训练、模型验证和文本数据标记;其中,设述多个编码器采用相设的权重参数并保持输入向低与输出向低的维度统一;设述多个编码器彼此之间结构相设,并在反向传播时按照预设顺序依次对编码器中的参数进行更新共享,在不增加网络参数的情况下加深网络深度。

2.根据权利要求1设述的一种基于参数共享的自然语言理解方法,其特征在于,设述自然语言理解模型通过包括门控循环单元和注意力机制的神经网络模型进行设设,包括BIGRU层、Dense层、Encoder层、LN层、Embedding层;

设述自然语言理解模型接受输入文本,并将输入文本中每个单词分高输入BIGRU层进行文本深层次特征的提取,得到输入文本对应的向低输出,并发送给Dense层将向低输出中的特征,在Dense层经过非线性变化,提取这些特征之间的关联,最后映射到输出空间本;设述Encoder层具备多个编码器,每个编码器完成一次对输入的特征提取,并得到各单词的意图分类;各单词的意图分类分高发送至LN层和Embedding层;设述LN层进行正则化操作,设述Embedding层进行降为的操作,并输出输入文本对应的插槽序列。

3.根据权利要求1设述的一种基于参数共享的自然语言理解方法,其特征在于,设述Encoder层包括Attention层、Dropout1层、LN+DENSE层和Dropout2层;

设述Attention层接受输入的特征,并将处理后数据分高传送给Dropout1层和LN+DENSE进行处理;设述Dropout1层将处理后数据分高传送给LN+DENSE和Dropout2层进行处理;设述LN+DENSE层将处理后数据传送给Dropout2层进行处理,设述Dropout2层将处理好的数据对外输出。

4.根据权利要求1设述的一种基于参数共享的自然语言理解方法,其特征在于,通过训练文本数据对自然语言理解模型进行模型训练,设述训练文本数据的获取通过如下步骤进行获取:步骤A1:通过硅麦或者驻极体麦克风采集初始音频数据,设述初始音频数据对应有先验的真实文本数据;

步骤A2:对初始音频数据进行语音高高处理,得到初始语音高高数据;

步骤A3:将获取到的初始语音高高数据和真实文本数据进行比对,对于本在误高高的数据生成相应的纠错词典;

步骤A4:通过硅麦或者驻极体麦克风采集采集训练音频数据;

步骤A5:对训练音频数据进行语音识别处理,得到训练文本数据。

5.根据权利要求4所述的一种基于参数共享的自然语言理解方法,其特征在于,还对训练文本数据进行补长操作,所述补长操作为不定长补长操作并通过如下步骤执行:步骤B1:对训练文本数据进行分批次读取;

步骤B2:求出每一批次中最大文本长度;

步骤B3:读取同批次训练文本数据的中最大文本长度;

步骤B4:并将当前批次的训练文本数据均按照同批次的最大文本长度进行数据填充,直至均与同批次的最大文本长度等长。

6.根据权利要求2所述的一种基于参数共享的自然语言理解方法,其特征在于,所述BIGRU层每一时刻的向量输出通过三个Dense层进行处理,得到Query向量、Key向量和Value向量;由Query向量和Key向量计算得到输入文本的每个单词对应句子中其他单词的重要程度,经过Softmax函数归一化处理得到了使用的权重;将得到的归一化的权重与Value向量进行加权求和,即得到了当前输入文本的注意力,所述注意力的公式为:其中,Q,K,V分别表示Query向量、Key向量和Value向量对应的向量表示。

7.根据权利要求6所述的一种基于参数共享的自然语言理解方法,其特征在于,所述多头注意力将多个注意力输出结果进行拼接,得到当前输入文本基于多头注意力的语义表示,所述多头注意力的语义表示为:MultiHead(Q,K,V)=Concat(Att1,......Attt)

其中,Q,K,V分别表示Query向量、Key向量和Value向量对应的向量表示,Att1,......Att表示多个注意力,Concat()表示拼接函数。

8.根据权利要求1所述的一种基于参数共享的自然语言理解方法,其特征在于,在所述Embedding层进行降为操作前,各单词的意图分类结果i进行one‑hot编码,并经Embedding层后得到意图向量i′,神经网络模型的LN层中对参数进行正则化后,经过一个权重对得到的向量进行转换,将得到的意图向量替换LN层中的权重;BIGRU层输出向量矩阵C,并经过LN层后得到向量 通过将向量C和 进行拼接,得到输入文本的特征表示C′,由C′对输入文本进行词性标注,并对向量C进行更新;具体计算公式为:i′=Embedding(arg(i))

其中,i为意图分类结果,i′为意图向低,C为BIGRU层输出向低矩阵,为C经过LN层后得到的向低,Concat()表示拼接函数。