欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2020110596539
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法,其特征在于:该方法包括以下步骤:

步骤1,获取关系抽取数据集,对数据集中文本数据进行预处理,生成用于句子时序上下文信息特征提取的词向量矩阵和用于句子结构信息特征提取的邻接矩阵;

生成词向量矩阵和邻接矩阵的方法如下:

通过引入实体标签信息和实体位置信息来扩充词向量;所述的实体标签信息是通过自然语言处理工具为句子文本进行命名实体识别,打上相应标签;

所述的实体位置信息是根据不同单词到两个实体的距离来生成;最后生成用于提取句子时序上下文特征的词向量矩阵,即词嵌入矩阵;

利用自然语言处理工具对句子进行依存结构分析,生成原始句子依存结构树,将句子依存结构树进行补全,转化成句子结构图,进而将句子结构图转化成邻接矩阵;

步骤2,构建注意力图长短时记忆神经网络的关系抽取模型;采用生成的词向量矩阵和邻接矩阵作为模型的输入,关系类别标签作为输出,训练该关系抽取模型;

注意力图LSTM关系抽取模型结构具体为:

模型网络第一层为双向LSTM层:该层用于提取句子时序上下文特征,以步骤1中生成的词向量矩阵作为输入,输出句子时序上下文特征矩阵;

模型网络第二层为AGLSTM层:该层由图长短时记忆神经网络和注意力机制共同组成,将双向LSTM网络提取的序列特征和步骤1中生成的邻接矩阵作为该层的输入,模型中的注意力机制采用多头注意力机制,该层的输出为K个不同的特征提取结果,K为多头注意力的head数;

模型网络第三层为线性连接层:利用线性连接层将AGLSTM层输出的K个不同的结果整合成最终的输出特征;

模型网络最后一层为输出层:将AGLSTM层输出的特征通过最大池化层,然后通过softmax函数计算每一个类别的条件概率,输出模型预测特征的标签类别;

所述的图长短时记忆神经网络层中每一个单词节点wi的表达包括单词节点本身特征的向量表示hi、邻接矩阵内所有与该单词相连的边的表示 和 每两个单词节点之间的边权重即为注意力层所得多头注意力矩阵中相应元素的权重值;单词节点wi的隐藏状态表示为:其中αij为从节点i到节点j的初始句子结构权重即邻接矩阵中每一项对应的权值, 表示节点j的所有边的输入, 表示节点j的所有边的输出;

图长短时记忆神经网络定义如下:

其中 和 分别是当前时刻t在神经元j下的输入门、输出门和遗忘门的状态, 为当前神经元的状态,σ,tanh为激活函数, 为当前时刻t在神经元j下更新状态单元,通过更新状态单元 与上一时刻的神经元状态单元共同计算得到当前时刻神经元状态信息 Wx和bx为模型参数,Ux1和Ux2分别表示输入的权重和输出的权重,x∈(i,o,f,u);

将双向LSTM层的输出hlstm作为注意力机制的输入,设hlstm长度为n,设单层LSTM隐藏层神经元个数为d,则hlstmm的维度为2d*n,利用self‑attention计算机制得到多个注意力权重矩阵;self‑attention计算公式如下:uk=tanh(Wwhlstmm+bw)

T

Ak=SoftMax(uk*uk)

其中Ww,bw为感知机的权重参数,是维度为a*2d的二维矩阵,a是感知机的参数,则uk为T将hlstmm经过感知机输出的隐藏特征,维度为a*n,对uk进行自注意力的计算,uk*uk为一个n*n的二维矩阵,将其经过归一化处理得到第k个注意力权重矩阵Ak;

K头注意力机制得到K个注意力权重矩阵Ak,公式如下:

其中αij为单词i对应单词j的注意力权重,i,j∈(1,n);

将得到的注意力权重矩阵Ak,与特征向量blstm作为AGLSTM的输入,得到该层AGLSTM的输出向量hout,输出为:其中 是第K个注意力矩阵所对应的输出;

步骤3,获取关系抽取测试集,利用训练好的关系抽取模型对测试集进行关系抽取。

2.根据权利要求1所述的基于注意力机制与图长短时记忆神经网络结合的关系抽取方法,其特征在于:双向LSTM提取特征过程如下:LSTM单元通过输入门it、遗忘门ft和输出门ot进行信息流的控制,提取词特征信息;

当步骤1输出的词向量矩阵输入时,双向LSTM网络表示为:it=σ(Wiet+Uiht‑1+bi)

ft=σ(Wfet+Ufht‑1+bf)

ut=tanh(Wuet+Uuht‑1+bu)

ot=σ(Woet+Uoht‑1+bo)

ct=it⊙ut+ftQCt‑1

ht=ot⊙tanh(ct)

其中t为当前时刻,et为当前时刻神经元的状态,ht,ht‑1分别为当前时刻和前一时刻隐藏层状态向量,ct,ct‑1分别为当前时刻和前一时刻细胞单元状态向量,σ和tanh为激活函数,it、ot和ft分别是输入门、输出门和遗忘门,ut为神经元的更新状态单元,通过更新状态单元ut与上一时刻的神经元状态单元共同计算得到当前时刻神经元状态信息ct,Wx、Ux和bx为模型参数,x∈(i,o,f,u);

ht由前向传播和后向传播两个方向的向量组成,前向传播中t时刻隐藏层向量记为ht1,后向传播中t时刻隐藏层状态向量记为ht2;最终双向LSTM在t时刻的输出为ht=ht1+ht2。

3.根据权利要求1所述的基于注意力机制与图长短时记忆神经网络结合的关系抽取方法,其特征在于:线性连接层定义的数学形式如下:hcomb=Wcombhout+bcomb

其中,hout是经过AGLSTM层输出的结果, 表示第K个注意力矩阵所对应的输出,将一共K个输出经过线性变换整合成一个输出即为hcomb;Wcomb是线性连接层的权重矩阵,bcomb是线性连接层的偏置矩阵,hcomb为最终输出的特征。

4.根据权利要求1所述的基于注意力机制与图长短时记忆神经网络结合的关系抽取方法,其特征在于:每一个预测特征对应标签类别的概率计算公式如下:其中p(i)为对应i标签的概率, 为经过池化后标签i对应的特征分数,N为标签的个数。

5.根据权利要求1‑4任一所述的基于注意力机制与图长短时记忆神经网络结合的关系抽取方法,其特征在于:所述步骤2中,关系抽取模型选用Sigmoid函数作为激活函数,采用Adam优化算法进行模型训练,采用精确率P,召回率R和F1值作为评价指标,公式如下:其中,TP表示将正样本预测为正的样本数,FP表示将负样本预测为正的样本数,FN表示将正样本预测为负的样本数,正样本、负样本对应某类标签,该标签对应的样本即为正样本,其他标签对应的样本相对该类标签为负样本。