欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2020108554260
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.面向政务咨询服务的智能问答句子对语义匹配方法,其特征在于,该方法是通过构建并训练由多粒度嵌入模块、门控深层特征残差式融合网络模块、语义特征交互匹配模块和标签预测模块组成的句子对语义匹配模型,实现对句子信息的门控深层特征残差式融合表示,同时通过注意力机制和门控机制生成句子对的最终匹配张量并判定句子对的匹配程度,以达到对句子对进行智能语义匹配的目标;具体如下:多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作,得到句子的多粒度嵌入表示;

门控深层特征残差式融合网络模块对句子的多粒度嵌入表示进行编码操作,得到句子的门控深层特征残差式融合表示;

语义特征交互匹配模块对句子对的门控深层特征残差式融合表示进行特征匹配和特征筛选操作,得到句子对的匹配向量;

标签预测模块将句子对的匹配张量映射为指定区间上的一个浮点型数值,将其作为匹配度与预设的阈值进行比较,根据比较结果,判定句子对的语义是否匹配;

所述门控深层特征残差式融合网络模块的构建过程具体如下:

首先,多粒度嵌入模块输出的字嵌入表示和词嵌入表示通过门控机制进行选择性融合,以得到门控嵌入融合表示,公式如下:

其中,公式(1.1)表示构造嵌入表示信息选择门,其中, 和 表示待训练权重矩阵, 表示sentence1_char_embed或sentence2_char_embed, 表示sentence1_word_embed或sentence2_word_embed,σ表示sigmoid函数,gateemb表示嵌入表示信息选择门;公式(1.2)表示通过嵌入表示信息选择门对字嵌入表示和词嵌入表示进行选择性融合,其中,⊙表示按元素相乘,表示门控嵌入融合表示;

第一层编码结构BiLSTM1对字嵌入表示和词嵌入表示分别进行编码操作以得到初步的第一层字编码结果和第一层词编码结果;第一层字编码结果和第一层词编码结果通过门控机制进行选择性融合,随后再通过门控机制将此融合结果与门控嵌入融合表示进行选择性融合,以得到门控第一层特征残差式融合表示,公式如下:其中,公式(2.1)表示使用BiLSTM1编码字嵌入表示,其中, 表示sentence1_char_embed或sentence2_char_embed,ic表示第i个字的向量表示在句子中的相对位置, 表示第一层字编码结果;公式(2.2)表示使用BiLSTM1编码词嵌入表示,其中, 表示sentence1_word_embed或sentence2_word_embed,iw表示第i个词的向量表示在句子中的相对位置,表示第一层词编码结果;公式(2.3)表示构造第一层编码结果选择门,其中, 和*表示待训练权重矩阵,σ表示sigmoid函数,gate1表示第一层编码结果选择门;公式(2.4)表示通过第一层编码结果选择门对第一层字编码结果和第一层词编码结果进行选择性融合,其中,⊙表示按元素相乘, 表示门控第一层编码结果融合表示;公式(2.5)表示构造第一层特征残差式选择门,其中, 和 表示待训练权重矩阵,表示公式(1.2)输出的门控嵌入融合表示,σ表示sigmoid函数,gate1表示第一层特征残差式选择门;

公式(2.6)表示通过第一层特征残差式选择门对门控嵌入融合表示和门控第一层编码结果融合表示进行选择性融合,其中, 表示门控第一层特征残差式融合表示;

将第一层字编码结果和第一层词编码结果传递给第二层编码结构BiLSTM2;BiLSTM2对第一层字编码结果和第一层词编码结果分别进行编码操作以得到第二层字编码结果和第二层词编码结果;第二层字编码结果和第二层词编码结果通过门控机制进行选择性融合,随后再通过门控机制将此融合结果与门控第一层特征残差式融合表示进行选择性融合,以得到门控第二层特征残差式融合表示,公式如下:其中,公式(3.1)表示使用BiLSTM2编码第一层字编码结果,其中, 表示第一层字编码结果,ic表示第i个时间步, 表示第二层字编码结果;公式(3.2)表示使用BiLSTM2编码第一层词编码结果,其中, 表示第一层词编码结果,iw表示第i个时间步, 表示第二层词编码结果;公式(3.3)表示构造第二层编码结果选择门,其中, 和 表示待训练*权重矩阵,σ表示sigmoid函数,gate2表示第二层编码结果选择门;公式(3.4)表示通过第二层编码结果选择门对第二层字编码结果和第二层词编码结果进行选择性融合,其中,⊙表示按元素相乘, 表示门控第二层编码结果融合表示;公式(3.5)表示构造第二层特征残差式选择门,其中, 和 表示待训练权重矩阵, 表示公式(2.6)输出的门控第一层特征残差式融合表示,σ表示sigmoid函数,gate2表示第二层特征残差式选择门;公式(3.6)表示通过第二层特征残差式选择门对门控第一层特征残差式融合表示和门控第二层编码结果融合表示进行选择性融合,其中, 表示门控第二层特征残差式融合表示;

将第二层字编码结果和第二层词编码结果传递给第三层编码结构BiLSTM3;以此类推,可以多次反复编码生成多级门控特征残差式融合表示;根据模型预设的层次深度,直到生成最终的门控深层特征残差式融合表示;对于第depth层,公式如下:其中,公式(4.1)表示使用BiLSTMdepth编码第depth‑1层字编码结果,其中, 表示第depth‑1层字编码结果,ic表示第i个时间步, 表示第depth层字编码结果;公式(4.2)表示使用BiLSTMdepth编码第depth‑1层词编码结果,其中, 表示第depth‑1层词编码结果,iw表示第i个时间步, 表示第depth层词编码结果;公式(4.3)表示构造第depth层编码结果选择门,其中, 和 表示待训练权重矩阵,σ表*

示sigmoid函数,gatedepth表示第depth层编码结果选择门;公式(4.4)表示通过第depth层编码结果选择门对第depth层字编码结果和第depth层词编码结果进行选择性融合,其中,⊙表示按元素相乘, 表示门控第depth层编码结果融合表示;公式(4.5)表示构造第depth层特征残差式选择门,其中, 和 表示待训练权重矩阵, 表示门控第depth‑1层特征残差式融合表示,σ表示sigmoid函数,gatedepth表示第depth层特征残差式选择门;公式(4.6)表示通过第depth层特征残差式选择门对门控第depth‑1层特征残差式融合表示和门控第depth层编码结果融合表示进行选择性融合,其中, 表示门控第depth层特征残差式融合表示,即门控深层特征残差式融合表示。

2.根据权利要求1所述的面向政务咨询服务的智能问答句子对语义匹配方法,其特征在于,所述多粒度嵌入模块用于构建字映射转换表、构建词映射转换表、构建输入模块、构建字向量映射层、构建词向量映射层;

其中,构建字映射转换表或词映射转换表:映射规则为:以数字1为起始,随后按照每个字或词被录入字表或词表的顺序依次递增排序,从而形成所需的字映射转换表或词映射转换表;其中,字表或词表根据句子对语义匹配知识库而构建,该知识库包含断字处理知识库或分词处理知识库,分别通过对语义匹配知识库的原始数据文本进行断字预处理或分词预处理操作而得;其后,再使用Word2Vec训练字向量模型或词向量模型,得到各字的字向量矩阵或各词的词向量矩阵;

构建输入模块:输入层包括四个输入,对于训练数据集中的每一个句子对或待预测的句子对,对其进行断字和分词预处理,分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word,其中后缀char、word分别表示对相应句子断字或分词处理而得,将其形式化为:(sentence1_char,sentence2_char,sentence1_word,sentence2_word);对于输入句子中的每个字或词都按照字映射转换表和词映射转换表转化为相应的数字标识;

构建字向量映射层或词向量映射层:加载构建字映射转换表或词映射转换表步骤中训练所得的字向量矩阵或词向量矩阵来初始化当前层的权重参数;对于字向量映射,针对输入句子sentence1_char和sentence2_char,得到其相应句子向量sentence1_char_embed、sentence2_char_embed;对于词向量映射,针对输入句子sentence1_word和sentence2_word,得到其相应句子向量sentence1_word_embed、sentence2_word_embed。

3.根据权利要求1所述的面向政务咨询服务的智能问答句子对语义匹配方法,其特征在于,所述语义特征交互匹配模块的构建过程具体如下:此层接收门控深层特征残差式融合网络模块输出的门控深层特征残差式融合表示作为输入,分三步对其进行语义特征匹配和语义特征筛选操作,从而生成最终的句子对语义匹配张量,具体操作如下:第一步,首先通过应用注意力机制完成句子对间的交互匹配过程,以得到句子初步匹配张量;以sentence1匹配sentence2为例,公式如下:其中,公式(5.1)表示对两个句子的门控深层特征残差式融合表示进行映射,表示sentence1的门控深层特征残差式融合表示的第i个分量, 表示sentence2的门控深层特征残差式融合表示的第i个分量, 和 表示待训练权重,⊙表示按元素相乘;公式(5.2)表示计算得出注意力权重;公式(5.3)表示使用注意力权重完成交互匹配过程, 表示以sentence1匹配sentence2的结果,即句子初步匹配张量;同样的,以sentence2匹配sentence1也会得到一个类似的句子初步匹配张量第二步,使用门控机制对句子匹配张量进行特征筛选操作,以得到句子匹配张量;公式如下:

其中,公式(6.5)表示构建匹配张量门, 表示以sentence1匹配sentence2的结果,和 为待训练权重;公式(6.6)表示使用匹配张量门对匹配张量进行特征筛选,⊙表示按元素相乘, 表示sentence1匹配张量;同样的,处理以sentence2匹配sentence1的结果可得到sentence2匹配张量第三步,联接两个句子匹配张量,以得到句子对匹配张量,公式如下:

其中, 表示句子对匹配张量。

4.根据权利要求3所述的面向政务咨询服务的智能问答句子对语义匹配方法,其特征在于,所述标签预测模块构建过程如下:将句子对语义匹配张量将作为本模块的输入,其经过一层维度为1、激活函数为sigmoid的全连接网络处理,从而得到一个处于[0,1]之间的匹配度数值,记为ypred,最终通过与设立的阈值0.5进行比较,从而判断句子对间的语义是否匹配;即ypred≥0.5时,预测该句子对的语义是匹配的,否则,不匹配;当句子对语义匹配模型尚未充分训练时,需要在训练数据集上进行训练,以优化模型参数;当训练完毕时,其标签预测模块可预测目标句子对的语义是否匹配。

5.根据权利要求4所述的面向政务咨询服务的智能问答句子对语义匹配方法,其特征在于,所述句子对语义匹配知识库构建具体如下:下载网络上的数据集获取原始数据:下载网络上已经公开的句子对语义匹配数据集或人工构建数据集,将其作为构建句子对语义匹配知识库的原始数据;

预处理原始数据:预处理用于构建句子对语义匹配知识库的原始数据,对其中的每个句子均进行断字操作、分词操作,得到句子对语义匹配断字处理知识库、分词处理知识库;

汇总子知识库:汇总句子对语义匹配断字处理知识库和句子对语义匹配分词处理知识库,构建句子对语义匹配知识库;

所述句子对语义匹配模型通过使用训练数据集进行训练而得到,训练数据集的构建过程如下:

构建训练正例:将句子对语义匹配知识库中将两个句子语义一致的句子对构建为正例,形式化为:(sentence1_char,sentence2_char,sentence1_word,sentence2_word,1);

其中,sentence1_char、sentence2_char分别指代句子对语义匹配断字处理知识库中的句子1、句子2,sentence1_word、sentence2_word分别指代句子对语义匹配分词处理知识库中的句子1、句子2,1表示这两个句子的语义相匹配,是正例;

构建训练负例:选中一个句子s1,再从句子对语义匹配知识库中随机选择一个与句子s1不匹配的句子s2,将s1与s2进行组合,构建负例,形式化为:(sentence1_char,sentence2_char,sentence1_word,sentence2_word,0);其中,sentence1_char、sentence1_word分别指代句子对语义匹配断字处理知识库和句子对语义匹配分词处理知识库中的句子1;

sentence2_char、sentence2_word分别指代句子对语义匹配断字处理知识库和句子对语义匹配分词处理知识库中的句子2;0表示句子s1和句子s2的语义不匹配,是负例;

构建训练数据集:将经过构建训练正例和构建训练负例操作后所获得的全部的正例样本句子对和负例样本句子对进行组合,并打乱其顺序,构建最终的训练数据集;无论正例数据还是负例数据均包含了五个维度,即sentence1_char,sentence2_char,sentence1_word,sentence2_word,0或1;

所述句子对语义匹配模型构建完成后通过训练数据集进行句子对语义匹配模型的训练与优化,具体如下:

构建损失函数:采用交叉熵作为损失函数;

优化训练模型:使用RMSProp作为优化算法,除了其学习率设置为0.0015外,RMSProp的剩余超参数均选择Keras中的默认值设置;在训练数据集上,对句子对语义匹配模型进行优化训练。

6.面向政务咨询服务的智能问答句子对语义匹配装置,其特征在于,该装置包括,句子对语义匹配知识库构建单元,用于获取大量的句子对数据,随后对其预处理操作,从而得到符合训练要求的句子对语义匹配知识库;

训练数据集生成单元,用于根据句子对语义匹配知识库中的句子来构建用于训练的正例数据和负例数据,并且基于正例数据与负例数据来构建最终的训练数据集;

句子对语义匹配模型构建单元,用于构建字映射转换表、词映射转换表,同时构建输入模块、字向量映射层、词向量映射层、门控深层特征残差式融合网络模块、语义特征交互匹配模块和标签预测模块;句子对语义匹配模型构建单元包括,字映射转换表或词映射转换表构建单元,负责对句子对语义匹配知识库中的每个句子按字粒度或词粒度进行切分,并将每个字或词依次存入一个列表中,从而得到一个字表或词表,随后以数字1为起始,按照每个字或词被录入字表或词表的顺序依次递增排序,从而形成所需的字映射转换表或词映射转换表;字映射转换表或词映射转换表构建完成后,表中每个字或词均被映射为唯一的数字标识;其后,使用Word2Vec训练字向量模型或词向量模型,得到各字的字向量矩阵或各词的词向量矩阵;

输入模块构建单元,负责对训练数据集中的每一个句子对或待预测的句子对,进行预处理,分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word,将其形式化为:(sentence1_char,sentence2_char,sentence1_word,sentence2_word);

字向量映射层或词向量映射层构建单元,负责加载字映射转换表或词映射转换表构建单元步骤中训练所得的字向量矩阵或词向量矩阵来初始化当前层的权重参数;对于字向量映射,针对输入句子sentence1_char和sentence2_char,得到其相应句子向量sentence1_char_embed、sentence2_char_embed;对于词向量映射,针对输入句子sentence1_word和sentence2_word,得到其相应句子向量sentence1_word_embed、sentence2_word_embed;

门控深层特征残差式融合网络模块构建单元,负责捕获和筛选句子的语义特征,具体操作为接收字向量映射层输出的字嵌入表示和词向量映射层输出的词嵌入表示作为输入;

字嵌入表示和词嵌入表示首先通过门控机制进行选择性融合,以得到门控嵌入融合表示,同时,将融合前的字嵌入表示和词嵌入表示传递给第一层编码结构;第一层编码结构对字嵌入表示和词嵌入表示分别进行编码操作,以得到第一层字编码结果和第一层词编码结果;第一层字编码结果和第一层词编码结果通过门控机制进行选择性融合,随后再通过门控机制将此融合结果与门控嵌入融合表示进行选择性融合,以得到门控第一层特征残差式融合表示,同时,将融合前的第一层字编码结果和第一层词编码结果传递给第二层编码结构;第二层编码结构对第一层字编码结果和第一层词编码结果分别进行编码操作,以得到第二层字编码结果和第二层词编码结果;第二层字编码结果和第二层词编码结果通过门控机制进行选择性融合,随后再通过门控机制将此融合结果与门控第一层特征残差式融合表示进行选择性融合,以得到门控第二层特征残差式融合表示,同时,将融合前的第二层字编码结果和第二层词编码结果传递给第三层编码结构;以此类推,可以多次反复编码生成多级门控特征残差式融合表示;根据模型预设的层次深度,直到生成最终的门控深层特征残差式融合表示;

语义特征交互匹配模块构建单元,负责进一步处理相应句子的门控深层特征残差式融合表示,对其进行语义特征交互匹配和语义特征筛选等操作,从而生成最终的句子对语义匹配张量;

标签预测模块单元,负责对句子对语义匹配张量进行处理,从而得出一个匹配度数值,将其与设立的阈值进行比较,以此判断句子对的语义是否匹配;

句子对语义匹配模型训练单元,用于构建模型训练过程中所需要的损失函数,并完成模型的优化训练。

7.根据权利要求6所述的面向政务咨询服务的智能问答句子对语义匹配方法,其特征在于,所述句子对语义匹配知识库构建单元包括,句子对数据获取单元,负责下载网络上已经公开的句子对语义匹配数据集或人工构建数据集,将其作为构建句子对语义匹配知识库的原始数据;

原始数据断字预处理或分词预处理单元,负责预处理用于构建句子对语义匹配知识库的原始数据,对其中的每个句子均进行断字或分词操作,从而构建句子对语义匹配断字处理知识库或句子对语义匹配分词处理知识库;

子知识库汇总单元,负责汇总句子对语义匹配断字处理知识库和句子对语义匹配分词处理知识库,从而构建句子对语义匹配知识库;

所述训练数据集生成单元包括,

训练正例数据构建单元,负责将句子对语义匹配知识库中两个语义一致的句子与其匹配标签1构建为训练正例数据;

训练负例数据构建单元,负责选中一个句子,随后随机选择与其不匹配的某个句子进行组合,与其匹配标签0一起构建为负例数据;

训练数据集构建单元,负责将所有的训练正例数据与训练负例数据组合在一起,并打乱其顺序,从而构建最终的训练数据集;

所述句子对语义匹配模型训练单元包括,

损失函数构建单元,负责计算句子1和句子2间语义匹配度的误差;

模型优化单元,负责训练并调整模型训练中的参数,减小预测误差。

8.一种存储介质,其中存储有多条指令,其特征在于,所述指令有处理器加载,执行权利要求1‑5中任一项所述的面向政务咨询服务的智能问答句子对语义匹配方法的步骤。

9.一种电子设备,其特征在于,所述电子设备包括:权利要求8所述的存储介质;以及处理器,用于执行所述存储介质中的指令。