利索能及
我要发布
收藏
专利号: 2023101879373
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于融合多层语义特征的命名实体识别方法,其特征在于:所述基于融合多层语义特征的命名实体识别方法包括如下步骤:步骤1、构建训练命名实体识别模型的数据集并将其划分为训练集和测试集,同时采用BIO标注方法对数据集中的各个字符进行标注;

步骤2、对文本数据集中的每一条数据构建对应的标签序列,标签序列表示如下:,

式中, 表示每一条数据中的第 个字符, 表示第 个字符对应的实体标签类别,表示每一条数据的长度;

步骤3、构建融合多层语义特征的命名实体识别模型并利用训练集训练,命名实体识别模型包括Bert预训练模型、多层Transformer编码网络、双向长短期记忆网络BiLSTM层和条件随机场CRF层;

模型训练过程包括:

步骤31、利用Bert预训练模型对训练集中的所有样本进行字符特征提取,将样本中的每一个字符映射成768维的字符特征向量;

步骤32、构建多层Transformer编码网络,利用多层Transformer编码网络对训练集中的样本进行特征提取,底层Transformer提取浅层语义信息,顶层Transformer提取深层语义信息,将这两层语义信息特征融合后采用均值操作得到768维的语义特征向量;

步骤33、将步骤31中的字符特征向量和步骤32中的语义特征向量进行拼接,得到融合多层语义特征的拼接向量;

步骤34、将步骤33得到的向量作为双向长短期记忆网络BiLSTM层的输入,BiLSTM层利用其双向记忆网络的特性提取全局信息,获得包含上下文信息的特征向量,该特征向量经softmax获得各字符对应标签概率集合;

步骤35、将标签概率集合输入条件随机场CRF层,条件随机场CRF层自主学习标签序列之间的特征并对标签序列进行相应的规则约束,从而获得最佳标签序列;

步骤36、判断模型训练次数是否达到预设值,若达到预设值,停止训练,获得训练好的命名实体识别模型,否则,返回执行步骤S31;

步骤4、将测试集中待识别的数据输入训练好的命名实体识别模型,获得命名实体识别结果,其中识别效果指标包括精确率P、召回率R和F1值其中一种或多种。

2.如权利要求1所述的基于融合多层语义特征的命名实体识别方法,其特征在于:所述步骤1中的BIO标注方法为:将样本中的每个字符标注为“B‑X”、“I‑X”或者“O”,其中,“B‑X”表示此字符所在的实体属于X类型并且此字符属于实体的开头,“I‑X”表示此字符所在的实体属于X类型并且此字符在此实体的中间位置或末尾位置,“O”则表示此字符不属于任何类型。

3.如权利要求1所述的基于融合多层语义特征的命名实体识别方法,其特征在于:所述步骤3中,所述多层Transformer编码网络中,底层Transformer提取更常见、通用和基础广泛的信息,顶层Transformer提取更近似于本地化和特定于手头任务的信息,将底层Transformer和顶层Transformer提取的特征向量利用均值操作进行融合,同时将该语义特征向量映射成768维。

4.如权利要求1所述的基于融合多层语义特征的命名实体识别方法,其特征在于:所述步骤3中,所述双向长短期记忆网络BiLSTM层包含正向的LSTM和逆向的LSTM,每个LSTM维度控制在32 256维。

~

5.如权利要求4所述的基于融合多层语义特征的命名实体识别方法,其特征在于:每个LSTM维度控制在150维。

6.如权利要求1所述的基于融合多层语义特征的命名实体识别方法,其特征在于:所述步骤3中,所述Bert预训练模型输入部分由词向量、段向量和位置向量组成,用于区分同一字符在不同位置下的特征表示。

7.如权利要求1所述的基于融合多层语义特征的命名实体识别方法,其特征在于:所述条件随机场CRF层采用维特比算法来获得最佳标签序列并优化计算时间。

8.一种基于融合多层语义特征的命名实体识别设备,其特征在于,包括一个或多个处理器,用于实现权利要求1‑7中任一项所述的基于融合多层语义特征的命名实体识别方法。

9.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑7中任一项所述的基于融合多层语义特征的命名实体识别方法。