利索能及
我要发布
收藏
专利号: 2022109331682
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种文档级别关系抽取方法,其特征在于,包括以下步骤:获取待抽取关系的若干实体对和文档;

将所述实体对和所述文档顺次输入嵌入层和编码层,得到所述文档对应的隐藏状态向量和所述实体对中每一个实体对应的实体提及集合以及实体提及集合的隐状态向量;

根据所述文档中的每个实体与其他实体之间的实体间关系,构造所述文档对应的实体间关系矩阵,并计算文档中每个词的注意力;

根据每个实体对应的实际提及集合和所述文档对应的隐藏状态向量相乘,得到每个实体对的向量;

使用图注意力机制,将实体对作为主节点,该实体对中实体的实体提及作为从节点,构造出一个实体提及图;并根据所述实体提及图,使用图注意力机制,分别得到每个实体对中头实体和尾实体的向量;

对于每一个实体对,将所述头实体向量和所述尾实体向量输入输出层,使得所述输出层将所述头实体向量和所述尾实体向量拼接在一起,经过输出层得到所述头实体和所述尾实体对应的实体关系的概率分布,并选择其中概率最高的实体关系作为输出。

2.根据权利要求1所述的一种文档级别关系抽取方法,其特征在于,根据所述文档中的每个实体与其他实体之间的实体间关系,构造所述文档对应的实体间关系矩阵,并计算文档中每个词的注意力,包括:根据以下关系,构造所述文档对应的实体间关系矩阵C:若两个实体存在关系,则它们的实体提及在矩阵相交的位置的值为1,若没有关系则为0;

使用以下公式,构造关于实体间关系信息注意力机制的query/key/value向量值:Q K V

其中,W,W,W为随机初始化权重值,i为该词在文本中的位置;

使用以下公式,计算每个词在该词中的得分:

其中,sij代表的是第j个词在第i词中的得分,Aij代表的是结构化信息隐状态值,若Cij的值为1,则Aij的初始化的值为随机值,否则Aij的初始化值为0;

使用以下公式,根据每个词的得分算出每个词的注意力:其中,ai为第i个词的注意力,m为词的数量,j和k作为下标,分别代表m个词中的第j个词和第k个词,exp为指数函数。

3.根据权利要求1所述的一种文档级别关系抽取方法,其特征在于,根据每个实体对应的实际提及集合和所述文档对应的隐藏状态向量相乘,得到每个实体对的向量,包括:使用以下公式,根据实体提及集合,计算关于该实体的注意力:其中, 为第i个实体对文档中所有词注意力, 为第i个实体的实体提及的数量,指的是第i个实体中的第j个(共有 个)实体提及对文档中所有词的注意力,exp为指数函数;

使用以下公式,将两个实体的注意力相乘得到关于该实体对的注意力:(s,o)

A =AsAo

(s,o)

其中,A 为该实体对的注意力,As和Ao分别是实体对中头实体的注意力和尾实体的注意力;

使用以下公式,将实体对注意力和隐藏状态H相乘得到关于该实体对的向量:(s,o) T (s,o)

f =HA

(s,o)

其中,f 为实体对(s,o)的特征向量,H是由文档所有词的隐藏状态组成的序列,即H(s,o)={h1,h2,...,hm},h是单个词的隐藏状态,T代表矩阵的转置,m是文档中词的个数;A 为实体对(s,o)对文档中所有词的注意力。

4.根据权利要求1所述的一种文档级别关系抽取方法,其特征在于,根据所述实体提及图,使用图注意力机制,分别得到每个实体对中头实体和尾实体的向量,包括:根据该实体提及图,使用图注意力机制,分别得到头实体和尾实体对其实体的提及的注意力,公式如下:(s,o)

其中,T和W为随机化的权重矩阵;f 为实体对(s,o)的特征向量, 指的是实体S的第j个实体提及的隐状态, 和 分别为实体S和实体o的实体提及的数量; 和 分别为经过图注意力机制后,实体s和实体o的第j个实体提及对文档中所有词的注意力; 为经过图注意力机制后,实体o的第j个实体提及对文档中所有词的注意力; 为实体o的实体提及数量;gs和go为分别为实体S和实体o对文档中所有词的注意力;

使用如下公式,使用实体提及注意力得到主实体和尾实体的向量:hs=gsH

ho=goH

其中,hs和ho分别代表实体s和实体o的隐状态,gs和go为分别为实体S和实体o对文档中所有词的注意力,H是由文档所有词的隐藏状态组成的序列。

5.根据权利要求1所述的一种文档级别关系抽取方法,其特征在于:所述输出层由一层前馈神经网络和一层Softmax层组成。

6.根据权利要求5所述的一种文档级别关系抽取方法,其特征在于:使用如下公式,定义所述头实体向量和所述尾实体向量经过输出层得到概率分布P(y|x):P(y|x)=Softmax(FFN(concat(hs,ho))其中,P(y|x)为所述头实体和所述尾实体对应的实体关系的概率分布。

7.根据权利要求1所述的一种文档级别关系抽取方法,其特征在于,将所述文档顺次输入嵌入层和编码层,得到所述文档对应的隐藏状态向量,包括:在所述文档的文本头部添加[CLS]标签,头部的[CLS]标签用于表示整段输入序列,在句子对之间添加[SEP]标签,中间的[SEP]标签用于区分两段句子,在文本的末尾添加[SEP]标签,用于表示结束;

根据词表将所述文档转换为序列T={t1,t2,...,tm},其中m为序列长度;

使用所述嵌入层将所述序列T转换为向量矩阵V={v1,v2,...,vm};

矩阵向量V经过编码层后得到隐藏状态H={h1,h2,…,hm}。

8.一种文档级别关系抽取装置,其特征在于,包括:实体对和文档获取模块,用于获取待抽取关系的若干实体对和文档;

隐藏状态向量获取模块,用于将所述实体对和所述文档顺次输入嵌入层和编码层,得到所述文档对应的隐藏状态向量和所述实体对中每一个实体对应的实体提及集合以及实体提及集合的隐状态向量;

词注意力计算模块,用于根据所述文档中的每个实体与其他实体之间的实体间关系,构造所述文档对应的实体间关系矩阵,并计算文档中每个词的注意力;

实体对向量计算模块,用于根据每个实体对应的实际提及集合和所述文档对应的隐藏状态向量相乘,得到每个实体对的向量;

头实体和尾实体向量计算模块,用于使用图注意力机制,将实体对作为主节点,该实体对中实体的实体提及作为从节点,构造出一个实体提及图;并根据所述实体提及图,使用图注意力机制,分别得到每个实体对中头实体和尾实体的向量;

实体关系输出模块,用于对于每一个实体对,将所述头实体向量和所述尾实体向量输入输出层,使得所述输出层将所述头实体向量和所述尾实体向量拼接在一起,经过输出层得到所述头实体和所述尾实体对应的实体关系的概率分布,并选择其中概率最高的实体关系作为输出。

9.一种电子设备,其特征在于,包括:

至少一个存储器以及至少一个处理器;

所述存储器,用于存储一个或多个程序;

当所述一个或多个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1‑7任一所述的一种文档级别关系抽取方法的步骤。

10.一种计算机可读存储介质,其特征在于:

所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1‑7任一所述的一种文档级别关系抽取方法的步骤。