利索能及
我要发布
收藏
专利号: 2022107917745
申请人: 辽宁大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合BERT网络与位置特征信息的实体关系抽取方法,其特征在于,其步骤为:

1)实体数据采集:获取专业垂直领域公开的数据集,根据BIO标注采集样本;

2)数据处理:将得到实体样本分为训练集、验证集和测试集,最大最小归一化处理;

3)提出模型结构:提出的融合BERT网络与位置特征信息的实体关系抽取模型,由BERT模型、Bi‑LSTM、线性层、Attention层、全连接层组成;首先,BERT层捕获更强的上下文语义信息,其次,通过Bi‑LSTM拼接完整的时间步隐状态序列,映射到线性层得到每个类别标签的得分,然后,通过Attention层分配权重,选择特定信息与位置嵌入矩阵P在全连接层拼接区分相同实体在不同关系间的特征表示,最后通过实体分类矩阵C完成实体分类预测;

对BERT的输出序列中每个词计算其与当前注意力输出序列触发词的距离,然后根据句子最大长度m和位置特征大小n随机初始化位置嵌入矩阵P,通过查询位置嵌入矩阵P得到每个词的关系位置特征Pft,关系位置特征按照公式(5)计算:Pft=PPr‑Pw(5)

其中,Pr代表关系触发词的位置;Pw代表BERT输出序列词的位置;

将位置嵌入矩阵与注意力机制输出矩阵在全连接层进行拼接,得到实体分类矩阵(6):C=f(Attention_rk×1;P)(6)

其中f(·)代表全连接层;Attentiont_rk×1为注意力机制的输出向量矩阵;P为位置嵌入矩阵,C为当前实体分类矩阵;

4)离线训练:利用训练集和正则化策略训练模型和保存实体分类矩阵C最优参数;

5)在线测试:应用测试集验证模型性能或加载预训练参数微调整个模型微调,利用参数共享迁移学习实现模型及时训练。

2.根据权利要求1所述的融合BERT网络与位置特征信息的实体关系抽取方法,其特征在于,所述的步骤3)中,具体方法为:

3.1)数据经过BERT模型与Bi‑LSTM,获得字级别对应的每个类别标签的得分:将BERT作为输入文本序列的编码器,采用BERT获取隐含层状态向量Xt,具体如公式(1)所示:Xt=Bertbase(wt)(1)

将其记作序列X=(x1,x2,…,xn);

将BERT网络得到的序列X作为双向长短时记忆网络Bi‑LSTM各个时间步的输入,得到Bi‑LSTM层的前向隐状态序列 和后向隐状态序列 其中ht在隐藏层引入相应的记忆单元,如公式(2)所示;

其中,ht‑1为上一个长短时记忆网络单元的隐藏层的输出结果;Ct‑1则是上次一个长短时记忆网络单元的状态结果;xt则是本文的字向量输入结果;ft为遗忘门的输出结果,其中σ为sigmoid激活函数;it与 则为输入门的输出结果;tanh为tanh激活函数;Οt为输出门的输出结果;Ct为当前单元的状态值;ht为当前单元的隐藏层的输出;

将前向和后向隐状态序列按照时间步拼接得到完整的隐状态序列,记作H=(h1,h2,…,hn);

最后,通过线性层将隐状态序列映射到s维,得到映射后的序列记作L=(l1,l2,…,ln);

其中,L代表字Xi对应的每个类别标签的yj的得分;

3.2)提出关系位置特征注意力机制:将每个类别标签的得分输入关系位置特征注意力机制,得到实体分类矩阵C;

采用注意力机制QKV模型计算实体关系分类结果的权重值;通过均匀分布进行随机采样的向量矩阵queryk*1得出Query矩阵,其中k为双向长短时记忆网络隐藏层的输出向量维度;通过句子中的中文分词的词向量所生成的特征矩阵得出Key矩阵;通过双向长短时记忆网络隐藏层输出向量组成的矩阵得出Value矩阵;

实体关系抽取中的注意力机制权重值按照公式(3)计算:

Attention_wn×1=softmax(key_wn×k*query_wk×1)(3)其中,softmax函数是用来进行向量归一化的操作;key_wn×k为注意力机制的Key向量矩阵;query_wk×1为注意力机制中Query向量矩阵;Attention_wn×1为注意力机制的权重值;

实体关系抽取中注意力机制输出矩阵按照公式(4)计算:

T T

Attention_rk×1=(Attention_w*value_wn×k) (4)其中,value_wn×k为双向长短时记忆网络隐藏层的输出向量矩阵;Attentiont_rk×1则是注意力机制的输出向量矩阵;

建立注意力输出序列与经过BERT的输出序列的关系,区分相同实体在不同关系间的特征表示,做出最后的关系分类预测。

3.根据权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法,其特征在于:将CNMER数据利用融合BERT网络与位置特征信息的实体关系抽取方法进行实体抽取,完成疾病体征、疾病治疗实体分类。

4.根据权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法,其特征在于:将AIR FORCE MIL‑HDBK‑310‑1997数据利用融合BERT网络与位置特征信息的实体关系抽取方法进行实体抽取,完成发展军事产品的不同气候实体分类。

5.根据权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法,其特征在于:将LendingClub数据利用融合BERT网络与位置特征信息的实体关系抽取方法进行实体抽取,完成贷款客户、贷款业务、贷款违约因素实体分类。

6.根据权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法,其特征在于:将CALL2018数据利用融合BERT网络与位置特征信息的实体关系抽取方法进行实体抽取,完成罪名、法条、刑期实体分类,提高刑法实体分类。