利索能及
我要发布
收藏
专利号: 2021102955500
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的文本语义提取方法,其特征在于,所述方法包括以下步骤:

1)在预处理阶段中的操作如下:将所要传输的句子s标准化为词数个数为n,参数n可以自行设定;然后将所要传输的句子输入jieba中文分词模型,进行分词处理,得到w1,w2,w3,···,wn,接着将w1,w2,w3,···,wn输入word2vec中文预训练模型,最后输出每一个单词所对应的词向量,用e1,e2,e3,···,en表示,词向量组e1,e2,e3,···,en记作E;

2)将词向量e1,e2,e3,···,en输入单层循环神经网络,保留最后时刻循环神经网络隐藏层的输出向量,记为t1;该循环神经网络模型的权重由电影评论数据集训练得到;

3)将词向量组e1,e2,e3,···,en输入至编码器,编码器分为相同两层,在编码器第一层中,词向量组首先进入自我注意力机制,计算过程说明如下:i q

q=W×E,i∈[1,n]                       (1)i k

k=W×E                            (2)i v

v=W×E                            (3)q k v

W ,W ,W :维数为300的方阵,元素由系统模型经过训练得到,E:词向量组e1,e2,e3,···,en;

i i 1

4)对于每一个q ,i∈[1,n],都令其与每一个k进行点乘运算,i∈[1,n],对于q分别得到α1,1,α1,2,α1,3,···,α1,n,将α1,1,α1,2,α1,3,···,α1,n经过soft‑max层进行归一化操作,得到 其中:

1 2 3 n

再将 分别与各自对应的v ,v ,v ,···,v 相乘,将所得结果累加得

1 1 2 3 n

到向量b;将上述操作进行n次,得到向量b ,b ,b ,···,b,公式如下:至此,完成第一次自我注意力机制操作;将自我注意力机制操作生成的向量称为思想

1 2 3 n

向量,如b ,b ,b ,···,b;

1 2 3 n 1

5)将思想向量b ,b ,b ,···,b分别输入单层前馈神经网络FFNN,分别得到向量f ,

2 3 n 1 2 3 n

f ,f ,···,f,维数与b ,b ,b ,···,b相同;

1 2 3 n

6)向量f ,f ,f ,···,f 进入编码器第二层,重复进行第一层中的自我注意力操作以及经过前馈神经网络,由第二层前馈神经网络输出向量组 将向量

1 2 3

分别与向量t1相加,最终得到编码器第二层输出的向量组u ,u ,u ,···,n 1 2 3 n

u,将u ,u ,u ,···,u分别乘以维数为300的方阵 分别得到向量 i∈[1,n];

7)进入解码器部分,解码器同样分为两层,第一层中,首先将由一个维数为300的初始种子词向量输入至解码器开始进行解码操作;

8)由第一个目标单词词向量作为解码器第二次解码的输入,同理将第一个目标单词的q' k' v' q k v词向量乘以维数为300的方阵W ,W ,W ,得到对应向量m ,m ,m保留以进行后续操作;

9)第二个目标单词作为解码器第三次解码的输入,后续重复上述解码操作步骤,直至输出所有目标单词,从而得到预测句子

10)通过最小化损失函数来训练模型参数,模型参数包括矩阵元素与神经网络权重;

所述步骤7)中,计算过程说明如下:初始种子词向量将进行自我注意力机制操作,所得思想向量记为m;再进行Decoder‑Encoder Attention操作,方法是:将向量m乘以维m m数为300的方阵 得到向量q,将向量q 分别与向量 进行点乘操作,i∈[1,n],得到i∈[1,n],公式如下:i

向量u 与方阵 相乘所得向量;

m

q:向量m与方阵 相乘所得向量;

将 输入soft‑max层进行归一化操作得到 i∈[1,n],再将 分别与各自对应的

1 1

相乘,i∈[1,n],所得结果相加得到思想向量r,向量r再经过前馈神经网络FFNN得到向量向量 进入解码器第二层,第二层中重复第一层的操作,最后输出概率向量,概率最大的对应为第一个目标单词;

q k v

所述步骤8)中,第二次解码操作说明如下:将向量m ,m ,m与初始种子词向量进行自我注意力机制操作,得到第一个目标单词词向量对应的思想向量h,将h乘以维数为300的方阵h h i得到向量q,将向量q分别与向量 进行点乘操作,i∈[1,n],得到γ ,i∈[1,n],公式如下:i

向量u 与方阵 相乘所得向量;

h

q:思想向量h与方阵 相乘所得向量;

i

再将γ 进行soft‑max归一化操作得到 i∈[1,n],将 分别与各自对应的 相乘,i

2 2

∈[1,n],所得结果相加得到思想向量r,向量r 在经过前馈神经网络FFNN得到向量 向量 进入解码器第二层,第二层中重复第一层的操作,最后输出概率向量,概率最大的对应为第二个目标单词。

2.如权利要求1所述的一种基于深度学习的文本语义提取方法,其特征在于,所述步骤

10)中,损失函数定义为:

q(wl):第l个单词wl出现在输入句子s中的真实概率;

p(wl):第l个单词wl在预测句子 中出现的预测概率。