利索能及
我要发布
收藏
专利号: 2021105925155
申请人: 山东大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于概念文本的词向量快速生成方法,其特征在于,包括:对一段分好词后的概念文本,单词的组成字符以及每个单词的词性信息依次进行向量生成阶段处理和语义聚合阶段处理;

其中,所述输入信息在所述向量生成阶段生成输出信息,即分别生成针对单个概念文本的单词向量;

其中,针对同样的单词的多个概念文本的词向量进行语义聚合,最终输出综合语义向量。

2.根据权利要求1所述一种基于概念文本的词向量快速生成方法,其特征在于,所述输入信息还包括单词的组成字符以及每个单词的词性信息;

优选的,在向量生成阶段中,使用双层注意力机制对单词字符组件和上下文的信息进行语义编码,最终生成词向量;优选的,所述双层注意力机制至少包括自注意力结构网络层和前向注意力网络层。

3.根据权利要求1所述一种基于概念文本的词向量快速生成方法,其特征在于,所述语义聚合阶段采用卷积神经网络对同一单词的由多个概念文本的获得的词向量进行聚合,最终输出综合语义向量;

优选的,所述语义聚合阶段还包括使用新概念文本对向量进行更新。

4.根据权利要求1所述一种基于概念文本的词向量快速生成方法,其特征在于,所述词向量快速生成方法中还包括,通过向量生成阶段进行模型学习:其中,向量生成阶段的学习过程包括,首先对单词的组成字符序列进行处理,利用词wunk的字单元c1,c2,…,cn通过双向长短时记忆循环神经网络,即BiLSTM网络编码生成该词汇词向量的初始表示,将词wunk的n个字符分别输入到前向长短时记忆循环神经网络,即LSTM和后向LSTM中,分别取相应的循环神经网络的最后一个时间步的隐藏状态 和 作为wunk的前向编码和后向编码,然后将LSTM的前向和后向的隐藏状态连接起来形成wunk的最终词向量的初始化状态 将所述初始化状态 送到下一层网络中wunk中的位置:接下来是对概念文本的处理:对于文本C=w1,w2,…,wunk,…wm进行语句序列编码,其中每个BiLSTM神经网络单元都接收单词的词性标注POS信息和单词wi的词向量w

hi=BiLSTM(ei,hi‑1),i∈[1…n]                  (4)所述POS信息的类别向量是事先定义好的独热编码,并将wunk的POS信息设置为特定值;

对于取所有中间隐藏层向量,作为下一层的输入,其中hi表示第i个时间步的隐藏层向量。

5.根据权利要求1所述一种基于概念文本的词向量快速生成方法,其特征在于,所述自注意力层的结构用于学习输入句子的内部单词之间的依赖关系,获取句子结构信息辅助语义知识理解:采用上一层的隐藏层向量集合hi,i∈[1…n]进行输入,经过tanh函数转化为qi,每个qi与其他所有向量都能计算得到相应的权重系数ai,将其加权到本层的初始的输入向量上,并且由于每个词和所有其他词都进行了注意力计算,每个单词都会获得添加了上下文信息的新的特征向量μi:

μi=αihi                                (7)所述前向注意力层,对于每一个时间步i的新的表示向量μi,将其与前一个时间步向量μi‑1做注意力的计算,最后把得到的权重作为系数,将g向量集合线性组合成一个向量,用于T

后续的推断,公式如下,其中ω,Wδ,V,bδ均为可训练的模型参数:T

fi=ωtanh(Wδμi‑1+Vμi+bδ)                 (8)在最后预测向量时,将向量g作为多层感知器网络(MLP)的输入,即 其中表示目标单词wunk的向量;

优选的,所述向量生成阶段还包括损失函数,利用预测向量和预训练向量之间的欧几里得距离用作损失函数,其中e表示相应目标单词的已知预训练向量,λ表示正则化系数,θ为模型所涉及的参数,||·||2表示L2范数:

6.根据权利要求1所述一种基于概念文本的词向量快速生成方法,其特征在于,所述词向量快速生成方法中还包括,通过语义聚合阶段进行模型学习:通过向量生成阶段,针对同一单词,使用k个不同概念文本学习到的k个词向量,然后将k*d

多个词向量组合成一个矩阵Μ∈R ,其中d是向量的维度,在计算过程中,对所述矩阵Μ的k*d

每一列上采用一维CNN来编码,共设置L个滤波器,其中Wl∈R 为第l个滤波器的权重,将滤T

波器Wl应用于每一列生成特征γ,在矩阵Μ的第j列上的运算如下,其中 表示矩阵M的第j列的转置,bl表示偏置参数:最大池化层在第j列上得到最终的特征表示对于整个矩阵M,使用滤波器的计算结果为m,将m和输入的k个词向量一起输入MLP网络:

*

e=MLP([e1;e2;…;ek;m])                     (15)* d

其中e∈R为求得的综合语义向量;

优选的,所述语义聚合阶段还包括损失函数,利用预测向量和预训练向量之间的欧几里得距离用作损失函数,其中e表示相应目标单词的已知预训练向量,λ表示正则化系数,θ为模型所涉及的参数,||·||2表示L2范数:

7.一种加载有如权1‑6任意一项所述方法的系统装置,其特征在于,包括:供单词输入的用户输入端、向量生成阶段处理模块、语义聚合阶段处理模块和供综合语义向量输出的结果输出模块;

所述用户输入端将单词的词性信息、概念文本、单词的字符序列输入至向量生成阶段模块;在所述向量生成阶段模块按信息流依次为自注意力结构网络层、前向注意力网络层和多层感知机网络层;

所述向量生成阶段模块输出针对单个词汇在不同概念文本的多个词向量;

所述多个词向量作为所述语义聚合阶段模块的输入,所述语义聚合阶段模块按信息流依次为卷积神经网络层和多层感知机网络层;

所述语义聚合阶段模块输出综合语义向量,最终通过结果输出模块输出。

8.一种加载有如权1‑6任意一项所述方法的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现:本发明记载的任一项所述方法的步骤。

9.一种加载有如权1‑6任意一项所述方法的计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现本发明记载的任一项所述方法的步骤。

10.一种利用如权1‑6任意一项所述方法的应用方法:脱离大规模学习语料,针对少量的概念文本学习得到词向量。