利索能及
我要发布
收藏
专利号: 2022109965048
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向医疗智能问答的文本语义匹配方法,其特征在于,该方法是通过构建并训练嵌入层、语义编码层、多层次细粒度特征提取层、特征融合层和预测层组成文本语义匹配模型,提取文本字、词粒度特征,捕获同一文本细粒度语义特征、文本间语义交互特征,最终将多种相关特征合并,之后进行多种匹配操作,生成最终匹配特征向量并判定文本的相似度;具体如下:嵌入层对输入的文本以字粒度和词粒度分别进行嵌入操作,输出文本字嵌入表示和词嵌入表示;

语义编码层接收文本字嵌入表示和词嵌入表示并使用双向长短期记忆网络BiLSTM进行编码,输出文本字、词粒度特征;

多层次细粒度特征提取层对语义编码层输出的文本字、词粒度特征进行同一文本、文本间编码操作,得到同一文本细粒度语义特征与文本间语义交互特征;

特征融合层对多种相关特征进行合并,之后进行多种匹配操作,生成最终匹配特征向量;

预测层将最终匹配特征向量输入多层感知机得到一个浮点型的数值,将其作为匹配度与预设的阈值进行比较,根据比较结果,判定文本的语义是否匹配;

其中,语义编码层的实现细节如下:

以文本P为例,该模块接收文本P字、词嵌入表示并使用双向长短期记忆网络BiLSTM进行编码得到文本P字、词粒度特征,记为 具体公式如下:

其中,N表示字粒度特征与词粒度特征的长度,公式(1)表示使用双向长短期记忆网络BiLSTM对文本P字嵌入表示进行编码,其中, 表示通过双向长短期记忆网络BiLSTM编码得到的文本P第i个位置字粒度特征, 表示通过前向长短期记忆网络LSTM编码得到的文本P第i个位置字粒度特征, 表示通过后向LSTM编码得到的文本P第i个位置字粒度特征;

公式(2)与公式(1)中符号含义基本一致, 表示通过双向长短期记忆网络BiLSTM编码得到的文本P第j个位置词粒度特征, 表示通过前向LSTM编码得到的文本P第j个位置词粒度特征, 表示通过后向LSTM编码得到的文本P第j个位置词粒度特征;

c w

同理,对文本Q进行与文本P类似操作,得到文本Q字、词粒度特征,记为Q、Q。

2.根据权利要求1所述的面向医疗智能问答的文本语义匹配方法,其特征在于,所述嵌入层包括字词映射转换表、输入层、字词向量映射层,输出文本字嵌入表示和词嵌入表示;

其中,字词映射转换表:映射规则为以数字1为起始,随后按照每个字或词被录入字词表的顺序依次递增排序,从而形成字词映射转换表;其后,再使用Word2Vec训练字词向量模型,得到各字词的字词向量矩阵;

输入层:输入层包括四个输入,对于训练数据集中的每一个文本或待预测的文本,进行断字和分词预处理,分别获取txt P_char、txt Q_char、txt P_word和txt Q_word,其中后缀char、word分别表示对相应文本进行断字或分词处理得到,将其形式化为:(txt P_char,txt Q_char,txt P_word,txt Q_word);对于输入文本中的每个字和词都按照字词映射转换表转化为相应的数字标识;

字词向量映射层:加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数;针对输入的文本txt P_char、txt Q_char、txt P_word和txt Q_word得到其相应的文本字嵌入表示和词嵌入表示txt P_char_embed、txt Q_char_embed、txt P_word_embed和txt Q_word_embed。

3.根据权利要求1所述的面向医疗智能问答的文本语义匹配方法,其特征在于,所述多层次细粒度特征提取层的实现细节如下:对语义编码层输出的文本字、词粒度特征,进行同一文本、文本间编码操作,得到同一文本细粒度语义特征与文本间语义交互特征;包括两个子模块,第一个子模块负责同一文本细粒度语义特征提取,主要对同一文本不同粒度使用多个注意力模块编码获取同一文本细粒度语义特征;第二个子模块负责文本间语义交互特征提取,主要是在文本间使用若干层的编码结构获取文本之间语义交互特征;

第一个子模块同一文本细粒度语义特征提取:

首先为方便后续说明,在第一部分中以文本P为例,定义如下注意力模块:定义软对齐注意力模块,记为SOA,公式如下:

其中 表示文本P第i个位置字粒度特征,来自公式(1), 表示文本P第j个位置词粒度特征,来自公式(2), 表示文本P第i个位置字粒度特征与第j个位置词粒度特征之间的软对齐注意力权重, 表示对软对齐注意力权重做softmax操作映射为0‑1的数值, 表示使用软对齐注意力使文本P第i个位置字粒度特征可由文本P所有词粒度特征加权求和进行重新表示, 表示使用软对齐注意力使文本P第j个位置词粒度特征可由文本P所有字粒度特征加权求和进行重新表示;

定义乘法对齐注意力模块,记为MUA,公式如下:

其中,TimeDistributed(Dense())表示对每一个时间步的张量都进行相同的Dense()c层操作,⊙表示对位相乘操作,tanh表示激活函数,P表示文本P字粒度特征, 表示经过wDense()层处理后的文本P字粒度特征,P表示文本P词粒度特征, 表示乘法对齐注意力权重, 表示对乘法对齐注意力权重做softmax操作映射为0‑1的数值, 表示使用乘法对齐注意力使文本P第i个位置字粒度特征可由文本P所有词粒度特征加权求和进行重新表示, 表示使用乘法对齐注意力使文本P第j个位置词粒度特征可由文本P所有字粒度特征加权求和进行重新表示;

定义减法对齐注意力模块记为SUA,公式如下:

其中,TimeDistributed(Dense())表示对每一个时间步的张量都进行相同的Dense()c层操作,‑表示对位相减操作,tanh表示激活函数,P表示文本P字粒度特征, 表示经过wDense()层处理后的文本P字粒度特征,P表示文本P词粒度特征, 表示减法对齐注意力权重, 表示对减法对齐注意力权重做softmax操作映射为0‑1的数值, 表示使用减法对齐注意力使文本P第i个位置字粒度特征可由文本P所有词粒度特征加权求和进行重新表示, 表示使用减法对齐注意力使文本P第j个位置词粒度特征可由文本P所有字粒度特征加权求和进行重新表示;

定义自对齐注意力模块记为SEA,公式如下:

其中, 表示文本P第i个位置字粒度特征, 表示文本P第j个位置字粒度特征, 表示文本P第i个位置字粒度特征与文本P第j个位置字粒度特征之间的自对齐注意力权重,表示对自对齐注意力权重做softmax操作映射为0‑1的数值, 表示使用自对齐注意力使文本P第i个位置字粒度特征由文本P所有字粒度特征加权求和进行重新表示;

后续说明中,使用SOA符号代表公式(3)的操作,使用MUA符号代表公式(4)的操作,使用SUA符号代表公式(5)的操作,使用SEA符号代表公式(6)的操作;

第一层编码结构使用多个注意力模块提取同一文本细粒度初始语义特征:

c w

首先,使用软对齐注意力,将文本P字粒度特征P与文本P词粒度特征P进行软对齐注意力得到字粒度级别的文本P软对齐特征 与词粒度级别的文本P软对齐特征 如公式(7)所示:c w

其次,使用乘法对齐注意力,将文本P字粒度特征P与文本P词粒度特征P进行乘法对齐注意力得到字粒度级别的文本P乘法对齐特征 与词粒度级别的文本P乘法对齐特征如公式(8)所示:c w

之后,使用减法对齐注意力,将文本P字粒度特征P与文本P词粒度特征P进行减法对齐注意力得到字粒度级别的文本P减法对齐特征 与词粒度级别的文本P减法对齐特征如公式(9)所示:同理,对文本Q进行与文本P类似的处理,可得字粒度级别的文本Q软对齐特征 词粒度级别的文本Q软对齐特征 字粒度级别的文本Q乘法对齐特征 词粒度级别的文本Q乘法对齐特征 字粒度级别的文本Q减法对齐特征 ⊙词粒度级别的文本Q减法对齐特征 即完成了同一文本细粒度初始语义特征的提取;

第二层编码结构对同一文本细粒度初始语义特征进行增强,完成同一文本细粒度语义特征的提取:c

首先,将公式(7)中字粒度级别的文本P软对齐特征 与公式(1)中文本P字粒度特征P相加得到字粒度级别的文本P深层软对齐特征 如公式(10)所示:随后,将公式(8)中字粒度级别的文本P乘法对齐特征 与公式(1)中文本P字粒度特征cP相加得到字粒度级别的文本P深层乘法对齐特征 如公式(11)所示:然后,将公式(9)中字粒度级别的文本P减法对齐特征 与公式(1)中文本P字粒度特征cP相加得到字粒度级别的文本P深层减法对齐特征 如公式(12)所示:接着,将公式(10)中字粒度级别的文本P深层软对齐特征 公式(11)中字粒度级别的文本P深层乘法对齐特征 公式(12)中字粒度级别的文本P深层减法对齐特征 联接得到字粒度级别的文本P高层特征Pc',如公式(13)所示:在词粒度上与在字粒度上相似,首先,将公式(7)中词粒度级别的文本P软对齐特征w与公式(2)中文本P词粒度特征P相加得到词粒度级别的文本P深层软对齐特征 如公式(14)所示:随后,将公式(8)中词粒度级别的文本P乘法对齐特征 与公式(2)中文本P词粒度特征wP相加得到词粒度级别的文本P深层乘法对齐特征 如公式(15)所示:然后,将公式(9)中词粒度级别的文本P减法对齐特征 与公式(2)中文本P词粒度特征wP相加得到词粒度级别的文本P深层减法对齐特征 如公式(16)所示:接着,联接公式(14)词粒度级别的文本P深层软对齐特征 公式(15)中词粒度级别的文本P深层乘法对齐特征 公式(16)中词粒度级别的文本P深层减法对齐特征 得到词粒度级别的文本P高层特征Pw',如公式(17)所示:联接公式(10)中字粒度级别的文本P深层软对齐特征 与公式(14)词粒度级别的文本P深层软对齐特征 得到文本P深层语义特征P′deep,如公式(18)所示:同理,对文本Q进行与文本P类似的处理,可得字粒度级别的文本Q深层软对齐特征字粒度级别的文本Q深层乘法对齐特征 字粒度级别的文本Q深层减法对齐特征 字粒度级别的文本Q高层特征Q′c以及词粒度级别的文本Q深层软对齐特征 词粒度级别的文本Q深层乘法对齐特征 词粒度级别的文本Q深层减法对齐特征 词粒度级别的文本Q高层特征Q'w、文本Q深层语义特征Q'deep,即完成了同一文本细粒度语义特征提取;

第二个子模块文本间语义交互特征提取:

第一层编码结构同时使用若干层编码结构提取文本之间初始语义交互特征:c c

在字粒度上,首先,将公式(1)中文本P字粒度特征P与文本Q字粒度特征Q 进行软对齐注意力得到字粒度级别的文本P软对齐交互特征 与字粒度级别的文本Q软对齐交互特征如公式(19)所示:c c

其次,将公式(1)中文本P字粒度特征P与文本Q字粒度特征Q 进行减法对齐注意力得到字粒度级别的文本P减法对齐交互特征 与字粒度级别的文本Q减法对齐交互特征 如公式(20)所示:w

在词粒度上与在字粒度上相似,首先,将公式(2)中文本P词粒度特征P 与文本Q词粒度w特征Q进行软对齐注意力得到词粒度级别的文本P软对齐交互特征 与词粒度级别的文本Q软对齐交互特征 如公式(21)所示:w w

然后,将公式(2)中文本P词粒度特征P与文本Q词粒度特征Q 进行减法对齐注意力得到词粒度级别的文本P减法对齐交互特征 与词粒度级别的文本Q减法对齐交互特征 如公式(22)所示:第二层编码结构对文本之间初始语义交互特征进行增强,完成文本间语义交互特征的提取:在字粒度下,首先,将公式(19)中字粒度级别的文本P软对齐交互特征 与公式(1)中c文本P字粒度特征P相加得到字粒度级别的文本P深层软对齐交互特征 如公式(23)所示:之后,将公式(20)中字粒度级别的文本P减法对齐交互特征 与公式(1)中文本P字粒c度特征P相加得到字粒度级别的文本P深层减法对齐交互特征 如公式(24)所示:最后,联接公式(23)中字粒度级别的文本P深层软对齐交互特征 与公式(24)中字粒度级别的文本P深层减法对齐交互特征 得到字粒度级别的文本P高层交互特征Pc”,如公式(25)所示:在词粒度下,首先,将公式(21)中词粒度级别的文本P软对齐交互特征 与公式(2)中w文本P词粒度特征相加P 得到词粒度级别的文本P深层软对齐交互特征 如公式(26)所示:之后,将公式(22)中词粒度级别的文本P减法对齐交互特征 与公式(2)中文本P词粒w度特征P相加得到词粒度级别的文本P深层减法对齐交互特征 如公式(27)所示:最后,联接公式(26)中词粒度级别的文本P深层软对齐交互特征 与公式(27)中词粒度级别的文本P深层减法对齐交互特征 得到词粒度级别的文本P高层交互特征P″w,如公式(28)所示:联接公式(24)中字粒度级别的文本P深层减法对齐交互特征 与公式(27)中词粒度级别的文本P深层减法对齐交互特征 得到文本P深层语义交互特征P″deep,如公式(29)所示:同理,对文本Q进行与文本P类似的处理,可得字粒度级别的文本Q深层软对齐交互特征字粒度级别的文本Q深层减法对齐交互特征 字粒度级别的文本Q高层交互特征Q″c、词粒度级别的文本Q深层软对齐交互特征 词粒度级别的文本Q深层减法对齐交互特征 词粒度级别的文本Q高层交互特征Q″w、文本Q深层语义交互特征Q″deep,即完成了文本间语义交互特征提取。

4.根据权利要求1所述的面向医疗智能问答的文本语义匹配方法,其特征在于,所述特征融合层的实现细节如下:首先为方便后续说明,进行如下定义:

定义向量相减再按位求绝对值操作表示为AB,如公式(30)所示:

AB(P,Q)=|P‑Q|                    (30)其中P、Q为两个不同的向量,表示P与Q两个向量相减之后进行按位求绝对值操作;

定义向量按位乘法操作表示为MU,如公式(31)所示:

MU(P,Q)=P⊙Q                     (31)其中P、Q为两个不同的向量,表示P与Q向量进行按位相乘的操作;

后续说明中,使用AB符号代表公式(30)的操作,使用MU符号代表公式(31)的操作,使用SOA符号代表公式(3)的操作,使用MUA符号代表公式(4)的操作,使用SUA符号代表公式(5)的操作,使用SEA符号代表公式(6)的操作;

特征融合层分为两个子模块,第一个子模块对多种相关特征进行合并,第二个子模块进行多种匹配操作获得最终匹配特征向量;

第一个子模块对多种相关特征进行合并:

联接公式(13)中字粒度级别的文本P高层特征Pc'与公式(25)中字粒度级别的文本P高层交互特征Pc”得到字粒度级别的文本P聚合特征 并将字粒度级别的文本P聚合特征进行自注意力得到字粒度级别的文本P深层聚合特征 如公式(32)所示:在词粒度下,与字粒度相似,联接公式(17)中词粒度级别的文本P高层特征P′w与公式(28)中词粒度级别的文本P高层交互特征P″w得到词粒度级别的文本P聚合特征 并将词粒度级别的文本P聚合特征 进行自注意力得到词粒度级别的文本P深层聚合特征 如公式(33)所示:之后,联接公式(32)中字粒度级别的文本P深层聚合特征 与公式(33)中词粒度级别的文本P深层聚合特征 然后进行最大池化操作得到池化后文本P语义特征P',如公式(34)所示:接着,联接公式(18)中文本P深层语义特征P′deep与公式(29)中文本P深层语义交互特征P″deep得到文本P深层聚合特征 如公式(35)所示:同理,对文本Q进行与文本P相同的操作,得到字粒度级别的文本Q聚合特征 字粒度级别的文本Q深层聚合特征 词粒度级别的文本Q聚合特征 词粒度级别的文本Q深层聚合特征 池化后文本Q语义特征Q'、文本Q深层聚合特征再将公式(35)中文本P深层聚合特征 与文本Q深层聚合特征 进行软对齐注意力得到软对齐后文本P深层聚合特征 与软对齐后文本Q深层聚合特征 如公式(36)所示:随后,将公式(36)中软对齐后文本P深层聚合特征 进行最大池化操作得到池化后文本P深层聚合特征P”,并将软对齐后文本Q深层聚合特征 进行最大池化操作得到池化后文本Q深层聚合特征Q”,如公式(37)所示:第二个子模块进行多种匹配操作获得最终匹配特征向量:

首先,将公式(34)中池化后文本P语义特征P'与池化后文本Q语义特征Q'作绝对值减法得到减法匹配特征PQab,如公式(38)所示:PQab=AB(P'‑Q')                    (38)其次,将公式(34)中池化后文本P语义特征P'与池化后文本Q语义特征Q'作点乘得到点乘匹配特征PQmu,如公式(39)所示:PQmu=MU(P',Q')                     (39)再次,将公式(37)中池化后文本P深层聚合特征P”与公式(37)中池化后文本Q深层聚合特征Q”作绝对值减法得到深层减法匹配特征PQ'ab,如公式(40)所示:PQ'ab=AB(P”,Q”)                     (40)之后,将公式(37)中池化后文本P深层聚合特征P”与公式(37)中池化后文本Q深层聚合特征Q”作点乘得到深层点乘匹配特征PQ'mu,如公式(41)所示:PQ'mu=MU(P”,Q”)                    (41)最后,联接公式(34)中池化后文本P语义特征P'、池化后文本Q语义特征Q'、公式(38)中减法匹配特征PQab、公式(39)中点乘匹配特征PQmu、公式(40)中深层减法匹配特征PQ'ab、公式(41)中深层点乘匹配特征PQ'mu得到最终匹配特征向量F,如公式(42)所示:F=[P';Q';PQab;PQmu;PQ'ab;PQ'mu]             (42)。

5.根据权利要求1所述的面向医疗智能问答的文本语义匹配方法,其特征在于,所述预测层的实现细节如下:将最终匹配特征向量F作为输入,使用三层的全连接层并且在第一层和第二层全连接层之后使用ReLU激活函数进行激活在第三层全连接层之后使用sigmoid函数进行激活,从而得到一个处于[0,1]之间的匹配度数值,记为ypred;最终通过与设立的阈值0.5进行比较,从而判断文本语义是否匹配;即ypred≥0.5时,预测该文本的语义是匹配的,否则,不匹配;

当文本语义匹配模型尚未进行训练时,需要在根据语义匹配知识库而构建的训练数据集上进行训练,以优化模型参数;当该模型训练完毕时,预测层可预测目标文本的语义是否匹配。

6.根据权利要求1所述的面向医疗智能问答的文本语义匹配方法,其特征在于,所述文本语义匹配知识库包括下载网络上的数据集获取原始数据、预处理原始数据、汇总子知识库;

下载网络上的数据集获取原始数据:下载网络上已经公开的文本语义匹配数据集或人工构建数据集,将其作为构建文本语义匹配知识库的原始数据;

预处理原始数据:预处理用于构建文本语义匹配知识库的原始数据,对其中的每个文本均进行断字操作、分词操作,得到文本语义匹配断字处理知识库、分词处理知识库;

汇总子知识库:汇总文本语义匹配断字处理知识库、文本语义匹配分词处理知识库构建文本语义匹配知识库;

所述文本语义匹配模型通过使用训练数据集进行训练而得到,训练数据集的构建过程包括构建训练正例、构建训练负例、构建训练数据集;

构建训练正例:对于文本语义匹配知识库中的每一个文本,若其语义一致,则该文本可以用于构建训练正例;

构建训练负例:选中一个文本txt P,再从文本语义匹配知识库中随机选择一个与文本txt P不匹配的文本txt Q,将txt P与txt Q进行组合,构建负例;

构建训练数据集:将经过构建训练正例和构建训练负例操作后所获得的全部的正例数据和负例数据进行组合,并打乱其顺序,构建最终的训练数据集;

所述文本语义匹配模型构建完成后通过训练数据集进行文本语义匹配模型的训练与优化,具体如下:构建损失函数:由预测层实现过程可知,ypred为经过文本语义匹配模型处理后得到的匹配度计算数值;而ytrue是两个文本语义是否匹配的真实标签,其取值仅限于0或1,采用交叉熵作为损失函数;

构建优化函数:使用Adam优化函数;在训练数据集上,对文本语义匹配模型进行优化训练。

7.一种面向医疗智能问答的文本语义匹配装置,其特征在于,该装置包括文本语义匹配知识库构建单元、训练数据集生成单元、文本语义匹配模型构建单元、文本语义匹配模型训练单元,分别实现权利要求1‑6所描述的面向医疗智能问答的文本语义匹配方法的步骤。

8.一种储存介质,其中储存有多条指令,其特征在于,所述指令有处理器加载,执行权利要求1‑6中所述的面向医疗智能问答的文本语义匹配方法的步骤。

9.一种电子设备,其特征在于,所述电子设备包括:

权利要求8所述的储存介质以及处理器,用于执行所述储存介质中的指令。