利索能及
我要发布
收藏
专利号: 2021115460883
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于句法依赖和融合信息的关系抽取方法,其特征在于包括以下步骤:步骤(1)对句子S进行分词,构建输入序列;将输入序列作为BERT预训练模型的输入,经过BERT模型预处理获得每个词的基本词向量;

步骤(2)对数据集中的句子S利用Spacy依存句法分析工具进行处理,得到句子中词与词之间的依赖关系、边的信息,利用转换函数将依赖关系转换成关系向量;

步骤(3)对于句子中的每个词,利用transformer模型计算位置向量的方法,计算位置向量;之后给每个词添加位置向量,进行基本词向量和位置向量信息融合,得到融合向量;

步骤(4)将融合向量、关系向量以及边的信息输入到键值记忆神经网络网络中,生成每个词的句法信息向量,然后与步骤(3)中融合向量进行拼接;

步骤(5)将拼接后的向量输入到LSTM网络中进行编码,输出编码后的特征向量;

步骤(6)利用LSTM网络解码;在解码的过程中首先对关系类别进行预测,然后对关系类别的两个实体进行预测。

2.根据权利要求1所述的一种基于句法依赖和融合信息的关系抽取方法,其特征在于所述步骤(1)具体实现过程如下:

1‑1首先利用Spacy工具包进行分词构建输入序列S={w1,w2,…,wn},其中n表示序列长度,然后就构建句子向量X,公式表示如下:X=(w1,w2,…,wn)  (1)

其中,w1,w2,…,wn构成句子向量作为输入向量;

1‑2句子向量在构建完成后,将会被输入到BERT预训练模型中,得到信息更为丰富的基d×n本词向量,记为H∈R ,其中d为输出的基本词向量的维度,n为序列长度,过程表示为下式:H=BERT(X)={h1,h2,…,hn}  (2)其中,h1,h2,…,hn为BERT预训练模型编码之后的向量,X为步骤1‑1中公式(1)输出的句子向量,h1,h2,…,hn合并为基本词向量H。

3.根据权利要求2所述的一种基于句法依赖和融合信息的关系抽取方法,其特征在于所述步骤(2)具体实现过程如下:

2‑1将句子输入到Spacy句法分析工具中:

I=nlp(sentence)  (3)

公式(3)中sentence为输入的句子,nlp为加载Spacy依存句法分析工具包,I为输出;对输出I进行预处理,包括词下标和依存树的处理,从而获得依存树上的节点的依赖关系Rela和边的信息EdgeInfo,利用pytorch的Embedding函数将依赖关系Rela转换为关系向量relation。

4.根据权利要求3所述的一种基于句法依赖和融合信息的关系抽取方法,其特征在于所述步骤(3)具体实现过程如下:

3‑1对基本词向量H进行位置编码,然后将基本词向量和位置向量进行融合,得到融合后的位置向量Pos:Pos=PositionEncoding(H)  (4)其中,H为步骤1‑2中式(2)输出的基本词向量,PositionEncoding为编码函数;

然后将位置向量Pos和基本词向量H进行拼接,构成融合向量XP如式(5);

XP=Cat(H,Pos)  (5)

其中,Cat为拼接函数,XP为拼接后输出的融合向量。

5.根据权利要求4所述的一种基于句法依赖和融合信息的关系抽取方法,其特征在于所述步骤(4)具体实现过程如下:

4‑1将拼接后输出的融合向量XP、关系向量relation以及边的信息EdgeInfo输入到键值记忆网络中,获得每个词对应的句法向量,公式表示如下:syntax=KVMN(XP,relation,EdgeInfo)  (6)其中,XP为步骤3‑1中式(5)的融合向量,relation为步骤2‑1中的关系向量,EdgeInfo为步骤2‑1中边的信息,KVMN为键值记忆网络,syntax为句法向量;

4‑2将句法向量syntax与融合向量XP进行拼接获得最终的输入向量InputV。

6.根据权利要求5所述的一种基于句法依赖和融合信息的关系抽取方法,其特征在于所述步骤(5)具体实现过程如下:

5‑1将输入向量InputV输入到LSTM网络中进行编码,输出编码后的特征向量:output,hidden=LSTM(InputV)  (7)其中,InputV为步骤4‑1中拼接后的输入向量,LSTM为长短期记忆网络,output为LSTM网络最后一层的输出向量,hidden为隐藏层输出向量。

7.根据权利要求6所述的一种基于句法依赖和融合信息的关系抽取方法,其特征在于所述步骤(6)具体实现过程如下:

6‑1将输出向量output通过一个LSTM门控单元映射到另一个向量V;

6‑2.V向量通过全连接层网络映射到所有的关系类别,获得各个关系类别的概率分布,选取概率分布中概率最大的关系类别进行预测;在当前关系类别预测完成后,利用序列标注算法预测当前关系类别对应概率最大的实体下标,从而获得两个实体;

6‑3.将这一步的V向量作为下一步的output向量,重复步骤6‑1、6‑2,直到所有关系预测完成,实现公式如下:V=lstm_cell(output)  (8)

其中,output为步骤5‑1中(7)式的输出向量,lstm_cell为LSTM门控单元,V为映射得到的另一个向量;

关系类别预测公式如下:

relationType=do_predict(V)  (9)其中,do_predict为关系预测函数,relationType为预测得到的关系;

实体预测公式如下:

entity=NER(V)  (10)

其中,NER为命名实体识别模型,entity为得到的实体输出;重复预测实体一次,获得当前关系类别的两个实体;

6‑4在训练时,采用标准的梯度下降算法来更新网络参数,使用交叉熵损失函数和L2正则化,计算式如下:整体损失由两部分组成,如式(11)所示,首先是加权的实体损失,然后是关系损失; 为整体损失, 为实体损失, 为关系损失,λ为标签的损失权重;对于实体损失 计算公式*为式(13),p(tag |S)为句子S中每个词的每个标签类别tag*的概率分布;将上述概率取负对数即为实体损失;对于关系损失 计算公式为式(12), 代表句中S预测的每个关系 的概率分布,然后取负对数求和,其中 为预测值,y为真实值,t为预测到第t步。