利索能及
我要发布
收藏
专利号: 2020101035056
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-04-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度分层编码的智能语义匹配方法,其特征在于,该方法是通过构建并训练由嵌入层、深度分层编码表示层、分层特征交互匹配层和预测层组成的句子匹配模型,以此实现对句子的深度分层编码表示,获取更多的语义上下文信息和句子间的交互信息,同时实现分层特征交互匹配机制,以达到对句子进行智能语义匹配的目标;具体如下:嵌入层对输入的句子进行嵌入操作,并将结果传递给深度分层编码表示层;

深度分层编码表示层对由嵌入操作获取的结果进行编码操作,得到句子的中间编码表示特征与句子的最终编码表示特征两种不同的特征编码表示;

分层特征交互匹配层对句子的中间编码表示特征与句子的最终编码表示特征分别进行匹配处理,得到句子对的匹配表征向量;分层特征交互匹配层用于构建分层特征交互匹配机制;其中,构建分层特征交互匹配机制是对经过深度分层编码表示层处理后得到的sentence1、sentence2的中间编码表示特征的向量表示和最终编码表示特征的向量表示 根据得到的这两类向量从不同的角度进行匹配,从而生成匹配表征向量;具体如下:计算 公式如下:

其中, 表示中间编码表示特征向量 逐元素之间求差取得的绝对值; 表示最终编码表示特征向量逐元素之间求差取得的绝对值; 表示 与 逐元素求积取得的值;

计算 公式如下:

其中, 分别为对应

句子向量的平均向量表示; 表示中间编码表示特征向量分别与其平均值作差后再进行逐元素之间求差取得的绝对值; 表示最终编码表示特征向量 分别与其平均值作差后再进行逐元素之间求差取得的绝对值; 表示 与 逐元素求积取得的值;

将计算得出的两个结果 和 进行联接,作为句子对匹配程度的全面表征,公式如下:

其中, 表示最终生成的匹配表征向量;

在预测层使用一个全连接层对匹配表征向量进行一次映射,然后使用sigmoid层将得到的结果映射为指定区间中的一个值作为匹配度数值,根据匹配度数值与设定阈值的相对大小判定输入的句子对之间的语义是否匹配。

2.根据权利要求1所述的基于深度分层编码的智能语义匹配方法,其特征在于,所述嵌入层用于构建字符映射转换表、构建输入层及构建字向量映射层;

其中,构建字符映射转换表:映射规则为:以数字1为起始,随后按照每个字符被录入字符表的顺序依次递增排序,从而形成所需的字符映射转换表;其中,字符表通过句子匹配知识库构建;其后,再使用Word2Vec训练字向量模型,得到各字符的字向量矩阵embedding_matrix;

构建输入层:输入层包括两个输入,对输入句子sentence1、sentence2,将其形式化为:(sentence1,sentence2);对于输入句子中的每个字按照字符映射表转化为相应的数字表示;

构建字向量映射层:加载字符映射转换表构建步骤中训练所得的字向量矩阵权重来初始化当前层的权重参数;针对输入句子sentence1和sentence2,得到其相应句子向量sentence1_emd、sentence2_emd;句子匹配知识库中每一个句子均通过字向量映射的方式,将句子信息转化为向量形式。

3.根据权利要求1或2所述的基于深度分层编码的智能语义匹配方法,其特征在于,所述深度分层编码表示层的构建过程具体如下:句子的中间编码表示特征:使用一个双向长短期记忆网络BiLSTM,对经过字向量映射层处理后的句子进行两次编码处理,再对两次编码获得的语义特征进行联接操作而得到,公式如下:

其中,i表示相应字向量在句子中的相对位置;pi为句子中每个字的相应向量表示;

为经过BiLSTM第一次编码后的句子向量; 表示经过BiLSTM第二次编码后的句子向量;

为 向量联接的结果,即该句子的中间编码表示特征;

句子的最终编码表示特征:使用一个卷积神经网络CNN对于输出的中间编码表示特征继续进行编码处理,其输出则作为句子的最终编码表示特征,公式如下:其中, 为经过CNN编码后的句子最终编码表示特征。

4.根据权利要求3所述的基于深度分层编码的智能语义匹配方法,其特征在于,所述预测层构建过程如下:

将构建分层特征交互匹配机制过程中得到的匹配表征向量 输入预测层,以判断句子对的语义是否匹配;在预测层中,匹配表征向量 经过全连接层处理,再由Sigmoid层进行处理;为了防止发生过拟合的情况,在全连接层设置dropout为0.5,sigmoid层对经过dropout处理后的全连接层的输出进行匹配度计算,得到处于[0,1]之间的匹配度表示ypred,最终通过与设立的阈值0.5进行比较来判别句子对的语义是否匹配,即ypred>0.5时,判定为语义匹配,ypred<0.5时,判定为语义不匹配。

5.根据权利要求4所述的基于深度分层编码的智能语义匹配方法,其特征在于,所述句子匹配知识库构建具体如下:

使用爬虫获取原始数据:在网上公共问答平台爬取问题集,得到原始相似句子知识库;

或者使用网上公开的句子匹配数据集,作为原始相似句子知识库;

预处理原始数据:预处理原始相似句子知识库中的相似句子对,对每个句子进行断字操作或分词操作,得到句子匹配知识库;

所述句子匹配模型通过使用训练数据集进行训练而得到,训练数据集的构建过程如下:

构建训练正例:将句子与句子所对应的标准句子进行组合,构建正例,形式化为:(sentence1,sentence2,1);其中,sentence1表示句子1;sentence2表示句子2;1表示句子1和句子2的语义相匹配,是正例;

构建训练负例:选中一个句子s1,再从句子匹配知识库中随机选择一个与句子s1不匹配的句子s2,将s1与s2进行组合,构建负例,形式化为:(sentence1,sentence2,0);其中,sentence1表示句子s1;sentence2表示句子s2;0表示句子s1和句子s2的语义不匹配,是负例;

构建训练数据集:将经过构建训练正例和构建训练负例操作后所获得的全部的正例样本句子对和负例样本句子对进行组合,并打乱其顺序,构建最终的训练数据集;无论正例数据还是负例数据均包含三个维度,即sentence1、sentence2、0或1;

所述句子匹配模型构建完成后通过训练数据集进行句子匹配模型的训练与优化,具体如下:

构建损失函数:由预测层构建过程可知,ypred是经过分层特征交互匹配机制处理后得到的匹配度计算结果,ytrue是两个句子语义是否匹配的真实标签,其取值仅限于0或1,采用均方误差作为损失函数,公式如下:

优化训练模型:使用RMSprop作为优化算法,除了其学习率设置为0.001外,RMSprop的剩余超参数均选择Keras中的默认值设置;在训练数据集上,对句子匹配模型进行优化训练。

6.一种基于深度分层编码的智能语义匹配装置,其特征在于,该装置包括,句子匹配知识库构建单元,用于使用爬虫程序,在网上公共问答平台爬取问题集,得到原始相似句子知识库,再对原始相似句子知识库进行断字或分词的预处理,从而构建用于模型训练的句子匹配知识库;

训练数据集生成单元,用于根据句子匹配知识库中的句子来构建训练正例数据和训练负例数据,并且基于正例数据与负例数据来构建最终的训练数据集;

句子匹配模型构建单元,用于通过嵌入层构建字符映射转换表、输入层、及字向量映射层、构建深度分层编码表示层、通过分层特征交互匹配层构建句子分层特征交互匹配机制和构建预测层;句子匹配模型构建单元包括,字符映射转换表构建子单元,用于对句子匹配知识库中的每个句子按字符进行切分,并将每个字符依次存入一个列表中,从而得到一个字符表,随后以数字1为起始,按照每个字符被录入字符表的顺序依次递增排序,从而形成所需要的字符映射转换表;其中,通过构建字符映射转换表,训练数据集中的每个字符均被映射为唯一的数字标识;其后,再使用Word2Vec训练字向量模型,得到各字符的字向量矩阵embedding_matrix;

输入层构建子单元,用于对输入句子sentence1与sentence2,将其形式化为:(sentence1、sentence2);

字向量映射层子单元,用于加载字符映射转换表构建子单元训练所得的字向量矩阵权重来初始化当前层的权重参数;针对输入句子sentence1和sentence2,得到其相应句子向量sentence1_emd、sentence2_emd;句子匹配知识库中每一个句子都可以通过字向量映射的方式,将句子信息转化为向量形式;

深度分层编码表示层子单元,用于对输入的数据进行编码和语义提取;其中双向长短期记忆网络对句子进行两次编码操作,再对两次编码获得的语义特征进行联接操作,从而得到句子的中间编码表示特征向量;卷积神经网络对于中间编码表示特征向量继续进行一次编码操作,其输出作为句子的最终编码表示特征向量;

分层特征交互匹配机制构建子单元,用于将句子对中的每个句子在不同层上获得的编码表示特征分别进行匹配,生成最终的匹配表征向量;分层特征交互匹配层用于构建分层特征交互匹配机制;其中,构建分层特征交互匹配机制是对经过深度分层编码表示层处理后得到的sentence1、sentence2的中间编码表示特征的向量表示和最终编码表示特征的向量表示 根据得到的这两类向量从不同的角度进行匹配,从而生成匹配表征向量;具体如下:计算 公式如下:

其中, 表示中间编码表示特征向量 逐元素之间求差取得的绝对值; 表示最终编码表示特征向量逐元素之间求差取得的绝对值; 表示 与 逐元素求积取得的值;

计算 公式如下:

其中, 分别为对应句子

向量的平均向量表示; 表示中间编码表示特征向量分别与其平均值作差后再进行逐元素之间求差取得的绝对值; 表示最终编码表示特征向量 分别与其平均值作差后再进行逐元素之间求差取得的绝对值; 表示 与 逐元素求积取得的值;

将计算得出的两个结果 和 进行联接,作为句子对匹配程度的全面表征,公式如下:

其中, 表示最终生成的匹配表征向量;

预测层子单元,用于对匹配表征向量进行处理,从而得出一个匹配度数值,将其与设立的阈值进行比较,以此判断句子对的语义是否匹配;

句子匹配模型训练单元,用于构建模型训练过程中所需要的损失函数,并完成模型的优化训练。

7.根据权利要求6所述的基于深度分层编码的智能语义匹配装置,其特征在于,所述句子匹配知识库构建单元包括,

数据爬取子单元,用于在网上公共问答平台爬取问题集,构建原始相似句子知识库;

爬取数据处理子单元,用于将原始相似句子知识库中的句子进行断字处理或分词处理,从而构建用于模型训练的句子匹配知识库;

所述训练数据集生成单元包括,

训练正例数据构建子单元,用于将句子匹配知识库中语义匹配的句子进行组合,并对其添加匹配标签1,构建为训练正例数据;

训练负例数据构建子单元,用于从句子匹配知识库中选取一个句子s1,再从句子匹配知识库中随机选择一个与句子s1语义不匹配的句子s2,将s1与s2进行组合,并对其添加匹配标签0,构建为训练负例数据;

训练数据集构建子单元,用于将所有的训练正例数据与训练负例数据组合在一起,并打乱其顺序,从而构建最终的训练数据集;

所述句子匹配模型训练单元包括,

损失函数构建子单元,用于计算句子1和句子2间语义匹配度的误差;

优化训练模型子单元,用于训练并调整模型训练中的参数,从而减小句子匹配模型训练过程中预测的句子1与句子2的语义匹配程度与真实匹配标签之间的误差。

8.一种存储介质,其中存储有多条指令,其特征在于,所述指令有处理器加载,执行权利要求1‑5中任一所述的基于深度分层编码的智能语义匹配方法的步骤。

9.一种电子设备,其特征在于,所述电子设备包括:权利要求8所述的存储介质;以及

处理器,用于执行所述存储介质中的指令。