1.一种基于多粒度混合注意力的数据发现的实体关系联合抽取方法,其特征在于,包括:步骤一,以表格空间的形式标记实体和关系的位置,将文本数据输入Bert预训练模型,获得每个单词的上下文表示,捕捉D维的文本语义信息M1;
步骤二,将文本语义信息M1输入到CNN模块,提取局部特征信息M5;
步骤三,将文本语义信息M1输入到第一个多头注意力模块,形成全局注意力信息E1,将局部特征信息M5输入到第二个多头注意力模块,形成局部注意力信息E2;
步骤四,将文本语义信息M1、全局注意力信息E1和局部注意力信息E2相加,然后将其输入到门控单元,获得实体的特征信息D2;
步骤五,将文本局部特征信息M5与实体特征信息D2相加,并通过一个小残差网络和LayerNorm层进行进一步处理,将这融合后的信息用作多头注意力模块的k值,同时使用文本语义信息M1作为第三个多头注意力模块的v值,实体特征信息D2作为第三个多头注意力模块的q值,得到融合了实体特征的实体注意力信息E3;
步骤六,将语义信息M1、全局注意力信息E1和实体注意力信息E3相加后输入到门控单元得到实体关系联合特征信息,将其输入到双仿射模型完成实体和关系的联合抽取;
所述步骤四,将文本语义信息M1、全局注意力信息E1和局部注意力信息E2相加后输入到门控单元得到实体特征信息,具体公式如下:D1=M1+E1+E2
D2=σ(D1)*D1
其中D1和D2为D维的向量,σ()表示sigmoid激活函数;
所述步骤六,将语义信息M1、全局注意力信息E1和实体注意力信息E3相加后输入到门控单元得到了实体关系联合特征信息,具体公式如下:D3=M1+E1+E3
D4=σ(D3)*D3
其中D3,D4为D维的向量;
将实体关系联合特征信息D4输入到双仿射模型完成实体和关系的联合抽取,具体公式如下:Ul=MLP1(D4)
Ur=MLP2(D4)
D |y|×D×D |y|×D |y|
其中U∈R 而Wm1∈R ,Wm2∈R 和bm∈R 是模型的可训练参数,Ul和Ur分别表示主体和客体的特征向量。
2.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法,其特征在于,所述步骤二,将语义信息M1作为输入,利用CNN模块得到文本的局部特征信息,具体计算公式如下:M2=CNN(M1)
M3=Maxpooling(M2)
M4=Averagepooling(M3)M5=Relu(MLP(M3+M4))
CNN表示卷积神经网络,Maxpooling表示最大池化层,Averagepooling表示平均池化层,MLP表示全连接层,M2,M3,M4,M5为D维的向量,M5为最后得到的局部特征信息。
3.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法,其特征在于,所述步骤三,将语义信息M1输入到第一个多头注意力模块,得到全局注意力信息,具体公式如下:headj=Attention(Qj,Kj,Vj)O
MultiHead(M1)=Concact(head1,...,headh)W1E1=MultiHead(M1)
D/h D/h D/h O D
其中Qj∈R ,Kj∈R ,Vj∈R 和W1 ∈R ,headj表示的是第j个注意力模块的输出,Concact表示连接操作,E1表示全局注意力信息;
将文本的局部特征信息M5输入到第二个多头注意力模块中,得到局部注意力信息,具体公式如下:headj=Attention(Qj,Kj,Vj)O
MultiHead(M1)=Concact(head1,...,headh)W2E2=MultiHead(M5)
D/h D/h D/h O D
其中Qj∈R ,Kj∈R ,Vj∈R 和W2 ∈R ,headj表示的是第j个注意力模块的输出,Concact表示连接操作,E2表示局部注意力信息。
4.根据权利要求1所述的基于多粒度混合注意力的数据发现的实体关系联合抽取方法,其特征在于,所述步骤五,具体公式如下:M6=LayerNorm(M5+D2)+M5+D2headj=Attention(Qj,Kj,Vj)O
MultiHead(D2,M6,M1)=Concact(head1,...,headh)W3E3=MultiHead(D2,M6,M1)D/h D/h D/h O D
其中Qj∈R ,Kj∈R ,Vj∈R 和W3∈R,LayerNorm表示层归一化操作,headj表示的是第j个注意力模块的输出,Concact表示连接操作,E3表示融合了实体特征的实体注意力信息。
5.一种实施如权利要求1‑4任意一项所述基于多粒度混合注意力的数据发现的实体关系联合抽取系统,其特征在于,所述基于多粒度混合注意力的数据发现的实体关系联合抽取系统包括:语义表示模块,用于利用Bert预训练模型得到每个单词的上下文表示;
特征提取模块,用于获取文本的特征信息;
联合抽取模块,用于通过双仿射模型实现实体和关系的联合抽取。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求
1‑4任意一项所述基于多粒度混合注意力的数据发现的实体关系联合抽取方法的步骤。
7.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1‑4任意一项所述基于多粒度混合注意力的数据发现的实体关系联合抽取方法的步骤。
8.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求5所述基于多粒度混合注意力的数据发现的实体关系联合抽取系统。