利索能及
我要发布
收藏
专利号: 2024107867618
申请人: 鲁东大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于注意力机制的中文电子病历命名实体识别方法,其特征在于,包括以下步骤:S1、收集中文电子病历文本数据,并构造医疗字典:

S2、将中文电子病历文本数据输入至预训练语言模型RoBERTa‑wwm‑ext‑large进行特征提取,获得对应的医疗词嵌入;

S3、针对中文电子病历文本数据中的每一个词,在医疗字典中查询该词的医疗概念嵌入,并将其与该词的医疗词嵌入按位相加,得到最终的词嵌入;

S4、通过BiLSTM模型捕获中文电子病历文本数据中每个词的上下文语义,同时查询医疗字典生成掩码注意力向量,进而计算与医疗字典中医疗概念相匹配的注意力权重;

S5、针对每个词所属的医疗概念,构建图神经网络,计算该词的图聚合表示,作为该词的位置嵌入;

S6、经BiLSTM模型得到的医疗词嵌入与该词的位置嵌入相加作为自注意力机制中的value值,然后与注意力权重相乘,计算得到医疗文本中各词的注意力表示;将BiLSTM模型得到的词嵌入与该词的注意力表示拼接,并经过线性变换后得到该词的综合语义特征表示;

S7、将综合语义特征组成的句子特征表示输入到全局指针网络中,计算命名实体得分,得到命名实体类别。

2.根据权利要求1所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S1中,所述医疗字典中的数据包括医疗实体名和中文电子病历中的医疗概念名。

3.根据权利要求1所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S2中,所述预训练语言模型RoBERTa‑wwm‑ext‑large中集成了分词器LTP,且为基于中文电子病历文本数据进行微调后的模型。

4.根据权利要求1所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S3中,所述医疗概念嵌入为中文电子病历文本数据中每个词所属的同一医疗概念中所有医疗词嵌入的均值。

5.根据权利要求1所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S4具体为:S41、通过BiLSTM模型捕获中文电子病历文本数据中每个词的上下文语义,形成医疗文本中各词的特征表示;

S42、查询医疗字典,匹配文本中各词的医疗概念,生成掩码注意力向量;

S43、基于掩码注意力向量,计算各词的注意力权重。

6.根据权利要求5所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S42中,在生成的掩码注意力向量中,出现在医疗字典中的词所在位置的掩码为1,其余词所在位置的掩码为0。

7.根据权利要求5所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S43中,计算文本中各词的注意力权重的公式为:式中, 表示掩码运算后得到的嵌入表示,Oi和Oj表示BiLSTM模型输出的第i个和第j个词的嵌入表示,Tj表示Oj对应的掩码注意力向量, 表示掩码运算,Wu表示模型中可以学习的参数,[;]表示连接操作,αi表示Oj相对于Oi的注意力权重,tanh()表示双曲正切函数,是一种非线性激活函数,ui和uj分别表示第i个和第j个医疗词嵌入经过非线性变换后的嵌入表示,uik表示第i个词所在医疗概念中第k个词的uk,n为第i个词所在医疗概念中词的个数。

8.根据权利要求7所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S5中,位置嵌入 的计算公式为:式中, 表示目标节点v的所有邻居节点在第k层的聚合表示,Wpool、Wk和b表示可学习参数, 表示目标节点v的邻居节点ui的第k‑1层嵌入表示, 表示目标节点v的第k层嵌入表示, 表示目标节点v经过所有邻居层聚合后最后的嵌入表示,即目标节点v代表的医疗词在医疗概念中的位置嵌入, 表示目标节点v的第k‑1层嵌入表示,σ(·)表示Relu函数,ui表示邻居节点, 表示邻居节点集合。

9.根据权利要求8所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S6中,综合语义特征表示ei为:ei=tanh(We[ci;Oi])

式中,tanh(·)表示双曲正切函数,是一种非线性激活函数,We表示模型中可以学习的参数,Oi和Oj表示BiLSTM模型输出的第i个和第j个词的嵌入表示,ci表示第i医疗词相对于其他词的注意力表示,αj表示Oi相对于Oj的注意力权重, 表示Oj对应的位置嵌入。

10.根据权利要求9所述的基于注意力机制的中文电子病历命名实体识别方法,其特征在于,所述步骤S7具体为:S71、对句子特征表示中每一个综合语义特征表示ei按照如下公式进行变换,得到其作为第α种类命名实体的起始位置表示qi,α和终止位置表示ki,α;

qi,α=Wq,αei+bq,α

ki,α=Wk,αei+bk,α

式中,Wq,α和Wk,α表示模型训练中可学习的参数,bq,α和bk,α表示模型的偏置项;

S72、根据起始位置表示qi,α和终止位置表示ki,α,计算从i到j的连续片段的一个类型为α的命名实体的得分sα(i,j);

式中,Ri表示第i个词的旋转位置编码,Rj表示第j个词的旋转位置编码,Rj‑i表示医疗文本中第i个词到第j个词的相对旋转位置编码,上标T表示矩阵转置运算。