1.融合图注意力网络和QA提取范式的事件抽取方法,其特征在于,针对描述军事事件的作战文本,执行以下步骤S1‑步骤S3,抽取文本中的预设事件类型,完成对文本的处理:步骤S1:采集以自然语言描述的军事事件的历史作战文本,对文本进行预处理;
步骤S2:步骤S1所获得的文本由词元构成,文本包括各事件类型及各事件类型分别所对应的触发词列表,针对文本,构建基于图注意力机制及二分类机制的触发词识别模型,以文本为触发词识别模型的输入,以文本中的各词元是否属于各事件类型所对应的触发词列表的判断结果为触发词识别模型的输出,完成文本中事件类型及触发词的识别;
步骤S3:各事件类型分别对应预设的各角色参数,针对事件类型已确定的文本,构建基于图注意力机制和Bi‑GRU网络的论元角色识别模型,以文本及事件类型所对应的角色参数为论元角色识别模型的输入,以文本中的词元所属的角色参数为论元角色识别模型的输出,完成事件类型的角色参数的识别,进一步完成对文本的处理。
2.根据权利要求1所述的融合图注意力网络和QA提取范式的事件抽取方法,其特征在于,步骤S2中触发词识别模型工作过程如下:步骤S21:将文本和各事件类型查询输入预训练的BERT模型进行编码;
步骤S22:针对编码后的各事件类型查询和文本,采用图注意力机制来学习在事件类型查询的上下文表示序列上的权重分布,并获得文本中每个词元融合事件类型后的上下文表示,具体如下式:式中, 为文本中第i个词元的向量表示, 为文本中第j个事件类型的向量表示,cos(·)为两个向量的余弦相似值,αij为第i个词元与第j个事件类型的余弦相似度矩阵; 为第i个词元融合事件类型后的上下文表示,k为事件类型总数;
进一步采用上下文注意力机制捕获文本中每个上下文信息,具体如下式:式中,ρ(·)为注意力函数,βij为文本中第i个词元和第j个词元之间的相似性系数,N为文本中所包含的词元总数, 表示融合相邻词元信息的词元向量表示;
步骤S23:针对文本,以文本中所包含的各事件类型为标签节点,在同时出现的事件类型之间连边,构建图G=(V,E),其中V表示标签节点,E表示边,由图G的拓扑结构所构成的邻接矩阵Aij如下式:式中,nij为两个标签节点i、j在所有文本中共同出现的次数,Cm表示第m个文本, 表示将矩阵Xij的对角线元素全部设置为1,I为单位矩阵,D为矩阵 的度矩阵,Aij表示归一化的邻接矩阵;
步骤S24:根据邻接矩阵Aij以及使用Glove预训练词向量来表示标签节点的初始化特征k为标签节点的个数,d为每个标签节点的特征个数,利用图注意力机制对每个标签节点与其一阶邻域标签节点做聚合操作,并且使用动态注意力得到每个标签节点的特征表示 具体如下式:式中,为权重参数向量,W为权重参数矩阵,LeakyReLU为非线性激活函数,αij为标签节点j相对于标签节点i的归一化注意系数,k∈Ni表示标签节点i的所有一阶邻域标签节点,f为非线性激活函数;
将步骤S22和步骤S24的图注意力网络所获取的标签信息表示进行拼接,得到标签特征式中,t表示图注意力网络GAT的层数,||为拼接符号, 为图注意力网络GAT在第t次运t算中标签节点j相对于标签节点i的归一化注意力系数,W为图注意力网络GAT第t次运算中权重参数矩阵,f为非线性激活函数;
步骤S25:将步骤S22和步骤S24通过图注意力网络所获取的 与通过预训练的BERT模型的原始文本上下文表示相连接,并将其分类为一个二进制标签,表明它是否为事件类型t所对应的触发词:式中,U0事件触发检测的可学习参数矩阵,Pi是单词Wi的单热词性编码;
其损失函数为:
式中,|T|为事件类型数,|N|为输入文本长度, 为正确标签, 为预测的标签。
3.根据权利要求2所述的融合图注意力网络和QA提取范式的事件抽取方法,其特征在于,步骤S3中论元角色识别模型工作过程如下:步骤S31:给定确定事件类型的输入文本C=[c1,c2,c3,…,cn],将预设的所属该事件类型的角色参数A=[a1,a2,...,ak]与输入文本拼接起来组成如下向量:[CLS]a1,a2,...,ak[SEP]c1,c2,c3,…,cn[SEP]将向量输入BERT预训练模型对文本中各句子进行编码,获得融合上下文语义的向量表示如下:式中,W表示词向量构成的矩阵, 表示事件角色参数词向量, 表示文本词向量;k+n表示将文本与角色参数拼接起来的长度;
步骤S32:使用多向注意力机制,获取输入文本中各句子与角色参数间的语义相关性,其中文本‑角色参数注意力如下:c a
给定文本向量w 与角色参数向量w ,为了确定文本与角色参数之间的相关性,计算文本与角色参数之间的相似性矩阵Sij:c a
式中,d表示w与w的向量维度;
基于相似性矩阵Sij,利用注意力机制来获取融合角色参数语义信息的文本向量 与融合文本信息的角色参数向量对文本以及参数角色进行自注意力的计算:
η=Softmax(ηij)
μ=Softmax(μij)
式中,σ表示点积运算;ηij表示文本中第i个词元与第j个词元之间的语义相关性;
Softmax(·)表示归一化函数;η表示ηij的归一化表示; 表示文本中第i个融合上下文信息的词元向量表示;μij表示第i个论元角色与第j个论元角色之间的语义相关性;μ表示μij的归一化表示; 第i个融合其他论元角色信息的论元角色向量表示;
步骤S33:使用Bi‑GRU网络提取输入句子的特征,其过程如下:GRU网络中有一个隐藏状态ht,两个门控单元为重置门rt和更新门zt以及候选状态 具体计算方式如下:rt=sigmoid(Wrxt+Urht‑1)
zt=sigmoid(Wzxt+Uzht‑1)
式中,ht‑1为上一时刻隐藏状态,xt为当前时刻特征,rt表示控制重置的门控,zt表示控制更新的门控,Wr表示重置门控中当前时刻特征的可训练权重矩阵,Ur表示重置门控中上一时刻隐藏状态的可训练权重矩阵,Wz表示更新门控中当前时刻特征的可训练权重矩阵,Uz表示更新门控中上一时刻隐藏状态的可训练权重矩阵, 表示经重置门控重置后的前一状态与当前时刻特征的拼接,用于记忆当前时刻状态,M表示当前时刻特征可训练权重矩阵,U表示经重置门重置后上一时刻隐藏状态的可训练权重矩阵;
对于GRU网络捕获的全局特征通过乘性注意力降低噪声影响,计算方式如下式:S=tanh(ht)
T
α=softmax(wS)
t
O=ht·α
T
其中,S为注意力隐藏状态;α为注意力系数;w表示可学习参数矩阵;O表示融合全局特征的文本向量表示;
步骤S34:将GRU网络的输出值放入全连接层进行序列标注,得出角色参数实体,具体如下式:式中,U0为事件触发检测的可学习参数矩阵;
其损失函数为:
式中,|A|为所属事件类型的角色参数, 为正确的参数角色标签, 为预测的参数角色标签。
4.融合图注意力网络和QA提取范式的事件抽取系统,其特征在于,基于事件抽取模型,实现如权利要求1‑3任意一项所述的融合图注意力网络和QA提取范式的事件抽取方法;
事件抽取模型包括触发词识别模型、论元角色识别模型;
触发词识别模型以经过预处理的文本为输入,以文本中的各词元是否属于各事件类型所对应的触发词列表的判断结果为输出,包括依次连接的编码层、上下文注意力层,以及与上述两层并行且依次连接的标签嵌入层、标签图注意力层;触发词识别模型还包括标签文本融合层、二分类层;上下文注意力层和标签图注意力层的输出分别输入标签文本融合层,标签文本融合层的输出作为二分类层的输入,将二分类层的输出作为触发词识别模型的输出;
论元角色识别模型以事件类型已确定的文本及事件类型对应的角色参数为输入,以文本中的词元所属的角色参数为输出,包括依次连接的角色实体拼接层、编码层、注意力层、Bi‑GRU层、分类层。