利索能及
我要发布
收藏
专利号: 2020101035605
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度特征变维机制的智能语义匹配方法,其特征在于,该方法是通过构建并训练由嵌入层、深度特征变维编码层、卷积匹配层和预测层组成的句子匹配模型,实现对句子的深度特征变维编码表示,从而获取更多的语义上下文信息和句子间的交互信息,同时实现卷积匹配机制,以达到对句子进行智能语义匹配的目标;具体如下:嵌入层对输入的句子进行嵌入操作,并将结果传递给深度特征变维编码层;

深度特征变维编码层对由嵌入操作获取的结果进行编码操作,得到句子的语义特征表示张量;

卷积匹配层对两个输入句子的语义特征表示张量进行卷积匹配处理,得到句子对的匹配表征向量;

在预测层使用一个全连接层对匹配表征向量进行一次映射,然后使用sigmoid层将得到的结果映射为指定区间中的一个值作为匹配度数值,根据匹配度数值与设定阀值的相对大小判定输入的句子对之间的语义是否匹配;

所述深度特征变维编码层的构建过程具体如下:

构建初级编码层:此层接收字词向量映射层的输出作为本层的输入,然后使用一个双向长短期记忆网络BiLSTM对其进行两次编码操作,从而得到两个初级语义特征表示张量,公式如下:其中,i表示相应字词向量在句子中的相对位置,pi为句子keys_sentence中每个字词的相应向量表示; 为经过BiLSTM第一次编码后的keys_sentence句子张量, 为经过BiLSTM第二次编码后的keys_sentence句子张量;

构建特征升维层:此层对经过初级编码层处理后得到的两个初级语义特征表示张量进行堆叠升维操作,从而将其合并为一个特征表示张量——升维语义特征表示张量,公式如下:其中,Add_dim是指增加一个维度并在这个新增的维度中对这两个张量进行堆叠操作,为 张量堆叠升维的结果,即升维语义特征表示张量;

构建卷积编码层:此层将升维语义特征表示张量作为输入,通过构造一个基于2*n卷积核的卷积神经网络层对其进行两次编码操作,得到两个卷积语义特征表示张量,公式如下:其中, 为句子keys_sentence经过卷积神经网络第一次编码后的卷积语义特征表示张量, 为句子keys_sentence经过卷积神经网络第二次编码后的卷积语义特征表示张量;

构建特征卷积层:此层对卷积编码层输出的两个卷积语义特征表示张量进行联接操作,随后构造一个基于2*n卷积核的卷积神经网络层对其进行一次编码操作,得到句子的最终语义特征表示张量,公式如下:其中, 为上述两个卷积语义特征表示张量的联接结果, 为对联接结果进行卷积操作后得到的最终语义特征表示张量。

2.根据权利要求1所述的基于深度特征变维机制的智能语义匹配方法,其特征在于,所述嵌入层用于构建字词映射转换表、构建输入层及构建字词向量映射层;

其中,构建字词映射转换表:映射规则为:以数字1为起始,随后按照每个字或词被录入字词表的顺序依次递增排序,从而形成所需的字词映射转换表;其中,字词表通过句子匹配知识库构建;其后,再使用Word2Vec训练字词向量模型,得到各字或词的字词向量矩阵embedding_matrix;

构建输入层:输入层包括两个输入,即嵌入关键特征后的两个句子keys_sentence1、keys_sentence2,将其形式化为:(keys_sentence1,keys_sentence2);对于输入句子中的每个字或词按照字词映射转换表转化为相应的数字表示;

构建字词向量映射层:加载字词映射转换表构建步骤中训练所得的字词向量矩阵权重来初始化当前层的权重参数;针对输入句子keys_sentence1和keys_sentence2,得到其相应句子向量keys_sentence1_emd、keys_sentence2_emd;句子匹配知识库中每一个句子均通过字词向量映射的方式,将句子信息转化为向量形式。

3.根据权利要求1或2所述的基于深度特征变维机制的智能语义匹配方法,其特征在于,所述卷积匹配层用于构建卷积匹配机制;其中,构建卷积匹配机制是对经过深度特征变维编码层处理后得到的keys_sentence1、keys_sentence2的最终语义特征表示张量进行联接处理,随后进行卷积匹配操作,从而生成匹配表征向量;公式如下:

其中, 表示两个句子的最终语义特征表示张量的联接结果, 为经过卷积

匹配操作后生成的句子匹配表征张量。

4.根据权利要求3所述的基于深度特征变维机制的智能语义匹配方法,其特征在于,所述预测层构建过程如下:将构建卷积匹配机制过程中得到的匹配表征向量 输入预测层,以判断句子对的语义是否匹配;在预测层中,匹配表征向量 经过全连接层处理,再由Sigmoid层进行处理;

为了防止发生过拟合的情况,在全连接层设置dropout为0.5,sigmoid层对经过dropout处理后的全连接层的输出进行匹配度计算,得到处于[0,1]之间的匹配度表示ypred,最终通过与设立的阈值0.5进行比较来判别句子对的语义是否匹配,即ypred>0.5时,判定为语义匹配,ypred<0.5时,判定为语义不匹配。

5.根据权利要求4所述的基于深度特征变维机制的智能语义匹配方法,其特征在于,所述句子匹配知识库构建具体如下:使用爬虫获取原始数据:在网上公共问答平台爬取问题集,得到原始相似句子知识库;

或者使用网上公开的句子匹配数据集,作为原始相似句子知识库;

预处理原始数据:预处理原始相似句子知识库中的相似句子对,对每个句子进行断字操作,得到原始句子匹配知识库;

嵌入关键特征:对原始相似句子知识库中的每个句子进行提取关键词操作,并将其作为关键特征嵌入到原始句子匹配知识库中的相应句子里,得到训练所需的句子匹配知识库;

所述句子匹配模型通过使用训练数据集进行训练而得到,训练数据集的构建过程如下:

构建训练正例:将句子匹配知识库中的句子与句子所对应的标准句子进行组合,构建正例,形式化为:(keys_sentence1,keys_sentence2,1);其中,keys_sentence1表示句子1;

keys_sentence2表示句子2;1表示句子1和句子2的语义相匹配,是正例;

构建训练负例:选中一个句子s1,再从句子匹配知识库中随机选择一个与句子s1不匹配的句子s2,将s1与s2进行组合,构建负例,形式化为:(keys_sentence1,keys_sentence2,0);

其中,keys_sentence1表示句子s1;keys_sentence2表示句子s2;0表示句子s1和句子s2的语义不匹配,是负例;

构建训练数据集:将经过构建训练正例和构建训练负例操作后所获得的全部的正例样本句子对和负例样本句子对进行组合,并打乱其顺序,构建最终的训练数据集;无论正例数据还是负例数据均包含三个维度,即keys_sentence1、keys_sentence2、0或1;

所述句子匹配模型构建完成后通过训练数据集进行句子匹配模型的训练与优化,具体如下:构建损失函数:由预测层构建过程可知,ypred是经过卷积匹配机制处理后得到的匹配度计算结果,ytrue是两个句子语义是否匹配的真实标签,其取值仅限于0或1,采用均方对数损失作为损失函数,公式如下:优化训练模型:使用Adam作为优化算法,除了其学习率设置为0.002外,Adam的剩余超参数均选择Keras中的默认值设置;在训练数据集上,对句子匹配模型进行优化训练。

6.一种基于深度特征变维机制的智能语义匹配装置,其特征在于,该装置包括,句子匹配知识库构建单元,用于使用爬虫程序,在网上公共问答平台爬取问题集,或者使用网上公开的句子匹配数据集,作为原始相似句子知识库,再对原始相似句子知识库进行断字操作,最后向其嵌入关键特征,从而构建用于模型训练的句子匹配知识库;

训练数据集生成单元,用于根据句子匹配知识库中的句子来构建训练正例数据和训练负例数据,并且基于正例数据与负例数据来构建最终的训练数据集;

句子匹配模型构建单元,用于通过嵌入层构建字词映射转换表、输入层、及字词向量映射层、构建深度特征变维编码层、通过卷积匹配层构建句子卷积匹配机制和构建预测层;句子匹配模型构建单元包括,字词映射转换表构建子单元,用于对句子匹配知识库中的每个句子按嵌入的关键词和字符进行切分,并将每个字或词依次存入一个列表中,从而得到一个字词表,随后以数字1为起始,按照每个字或词被录入字词表的顺序依次递增排序,从而形成所需要的字词映射转换表;其中,通过构建字词映射转换表,训练数据集中的每个字或词均被映射为唯一的数字标识;其后,再使用Word2Vec训练字词向量模型,得到各字或词的字词向量矩阵embedding_matrix;

输入层构建子单元,用于获取嵌入关键特征后的两个句子keys_sentence1、keys_sentence2,将其形式化为:(keys_sentence1,keys_sentence2);对于输入句子中的每个字或词按照字词映射转换表转化为相应的数字表示;

字词向量映射层子单元,用于加载字词映射转换表构建子单元训练所得的字词向量矩阵权重来初始化当前层的权重参数;针对输入句子keys_sentence1和keys_sentence2,得到其相应句子向量keys_sentence1_emd、keys_sentence2_emd;句子匹配知识库中每一个句子都可以通过字词向量映射的方式,将句子信息转化为向量形式;

深度特征变维编码层子单元,用于对字词向量映射层的输出进行三轮编码操作:其中第一轮使用一个双向长短期记忆网络BiLSTM对句子进行两次编码后,得到两个初级语义特征表示张量,接着对它们进行堆叠升维操作,使其合并为一个特征表示张量——升维语义特征表示张量,随后使用一个基于2*n卷积核的卷积神经网络层进行第二轮编码操作,得到两个卷积语义特征表示张量,对它们进行联接操作,然后进行第三轮编码操作,最终得到句子的最终语义特征表示张量;

卷积匹配机制构建子单元,用于将句子对的最终语义特征表示张量进行联接处理,随后进行卷积匹配操作,生成最终的匹配表征张量;

预测层子单元,用于对匹配表征向量进行处理,从而得出一个匹配度数值,将其与设立的阈值进行比较,以此判断句子对的语义是否匹配;

句子匹配模型训练单元,用于构建模型训练过程中所需要的损失函数,并完成模型的优化训练。

7.根据权利要求6所述的一种基于深度特征变维机制的智能语义匹配装置,其特征在于,所述句子匹配知识库构建单元包括,数据爬取子单元,用于在网上公共问答平台爬取问题集,或者使用网上公开的句子匹配数据集,构建原始相似句子知识库;

爬取数据处理子单元,用于将原始相似句子知识库中的句子进行断字处理,从而构建用于模型训练的原始句子匹配知识库;

嵌入关键特征子单元:对原始相似句子知识库中的每个句子进行提取关键词操作,并将其作为关键特征嵌入到原始句子匹配知识库中的相应句子里,得到训练所需的句子匹配知识库;

所述训练数据集生成单元包括,

训练正例数据构建子单元,用于将句子匹配知识库中语义匹配的句子进行组合,并对其添加匹配标签1,构建为训练正例数据;

训练负例数据构建子单元,用于从句子匹配知识库中选取一个句子s1,再从句子匹配知识库中随机选择一个与句子s1语义不匹配的句子s2,将s1与s2进行组合,并对其添加匹配标签0,构建为训练负例数据;

训练数据集构建子单元,用于将所有的训练正例数据与训练负例数据组合在一起,并打乱其顺序,从而构建最终的训练数据集;

所述句子匹配模型训练单元包括,

损失函数构建子单元,用于计算句子1和句子2间语义匹配度的误差;

优化训练模型子单元,用于训练并调整模型训练中的参数,从而减小句子匹配模型训练过程中预测的句子1与句子2的语义匹配程度与真实匹配标签之间的误差。

8.一种存储介质,其中存储有多条指令,其特征在于,所述指令有处理器加载,执行权利要求1‑5任一所述的基于深度特征变维机制的智能语义匹配方法的步骤。

9.一种电子设备,其特征在于,所述电子设备包括:

权利要求8所述的存储介质;以及

处理器,用于执行所述存储介质中的指令。