1.一种基于深度学习的文本语义提取方法,其特征在于,所述方法包括以下步骤:
1)在预处理阶段中的操作如下:将所要传输的句子s标准化为词数个数为n,参数n可以自行设定;然后将所要传输的句子输入jieba中文分词模型,进行分词处理,得到w1,w2,w3,···,wn,接着将w1,w2,w3,···,wn输入word2vec中文预训练模型,最后输出每一个单词所对应的词向量,用e1,e2,e3,···,en表示,词向量组e1,e2,e3,···,en记作E;
2)将词向量e1,e2,e3,···,en输入单层循环神经网络,保留最后时刻循环神经网络隐藏层的输出向量,记为t1;该循环神经网络模型的权重由电影评论数据集训练得到;
3)将词向量组e1,e2,e3,···,en输入至编码器,编码器分为相同两层。在编码器第一层中,词向量组首先进入自我注意力机制,计算过程说明如下:i q
q=W×E,i∈[1,n] (1)i k
k=W×E (2)i v
v=W×E (3)q k v
W ,W ,W :维数为300的方阵,元素由系统模型经过训练得到,E:词向量组e1,e2,e3,···,en;
i i 1
4)对于每一个q (i∈[1,n]),都令其与每一个k (i∈[1,n])进行点乘运算,对于q分别得到α1,1,α1,2,α1,3,···,α1,n,将α1,1,α1,2,α1,3,···,α1,n经过soft‑max层进行归一化操作,得到 其中:
1 2 3 n
再将 分别与各自对应的v ,v ,v ,···,v 相乘,将所得结果累加得
1 1 2 3 n
到向量b;将上述操作进行n次,得到向量b ,b ,b ,···,b,公式如下:至此,完成第一次自我注意力机制操作;将自我注意力机制操作生成的向量称为思想
1 2 3 n
向量,如b ,b ,b ,···,b;
1 2 3 n 1
5)将思想向量b ,b ,b ,···,b分别输入单层前馈神经网络FFNN,分别得到向量f ,
2 3 n 1 2 3 nf ,f ,···,f,维数与b ,b ,b ,···,b相同;
1 2 3 n
6)向量f ,f ,f ,···,f 进入编码器第二层,重复进行第一层中的自我注意力操作以及经过前馈神经网络,由第二层前馈神经网络输出向量组 将向量
1 2 3
分别与向量t1相加,最终得到编码器第二层输出的向量组u ,u ,u ,···,n 1 2 3 n
u,将u ,u ,u ,···,u分别乘以维数为300的方阵 分别得到向量
7)进入解码器部分,解码器同样分为两层,第一层中,首先将由一个维数为300的初始种子词向量
8)由第一个目标单词词向量作为解码器第二次解码的输入,同理将第一个目标单词的q k v q k v
词向量乘以维数为300的方阵W ',W ',W ',得到对应向量m ,m ,m保留以进行后续操作;
9)第二个目标单词作为解码器第三次解码的输入,后续重复上述解码操作步骤,直至输出所有目标单词,从而得到预测句子s^;
10)通过最小化损失函数来训练模型参数,模型参数包括矩阵元素与神经网络权重。
2.如权利要求1所述的一种基于深度学习的文本语义提取方法,其特征在于,所述步骤
7)中,计算过程说明如下:初始种子词向量
阵 得到向量q ,将向量q分别与向量 进行点乘操作,得到 公式如下:
i
向量u与方阵 相乘所得向量;
m
q:向量m与方阵 相乘所得向量;
将 输入soft‑max层进行归一化操作得到 再将 (i∈[1,n])分别与各自
1 1
对应的 相乘,所得结果相加得到思想向量r ,向量r再经过前馈神经网络FFNN得到向量 向量 进入解码器第二层,第二层中重复第一层的操作,最后输出概率向量,概率最大的对应为第一个目标单词。
3.如权利要求2所述的一种基于深度学习的文本语义提取方法,其特征在于,所述步骤q k v
8)中,第二次解码操作说明如下:将向量m ,m ,m 与初始种子词向量进行自我注意力机制操作,得到第一个目标单词词向量对应的思想向量h,将h乘以维数为300的方阵 得到向量h h i
q,将向量q分别与向量 进行点乘操作,得到γ(i∈[1,n]),公式如下:i
向量u与方阵 相乘所得向量;
h
q:思想向量h与方阵 相乘所得向量;
i
再将γ (i∈[1,n])进行soft‑max归一化操作得到 将 分别与各自对应的
2 2
相乘,所得结果相加得到思想向量r ,向量r在经过前馈神经网络FFNN得到向量 向量 进入解码器第二层,第二层中重复第一层的操作,最后输出概率向量,概率最大的对应为第二个目标单词。
4.如权利要求3所述的一种基于深度学习的文本语义提取方法,其特征在于,所述步骤
10)中,损失函数定义为:q(wl):第l个单词wl出现在输入句子s中的真实概率;
p(wl):第l个单词wl在预测句子 中出现的预测概率。