欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021103710799
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.面向银行咨询服务基于多粒度对齐的文本对语义匹配方法,其特征在于,该方法是通过构建并训练由多粒度嵌入模块、多粒度对齐模块、特征融合编码模块以及标签预测模块构成的文本对语义匹配模型,获取不同文本间的字和词粒度的相关性信息,并进一步得到文本在不同粒度上的最终语义表示,随后通过特征融合编码得到文本的深层语义信息表示,同时计算文本间相似度得到最终的文本对语义匹配张量,最后根据文本对语义匹配张量预测文本对的匹配程度,以达到判断文本对语义是否匹配的目标;具体如下:多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作,得到文本的多粒度嵌入表示;

多粒度对齐模块对不同文本间的字和词粒度嵌入表示分别进行编码和软对齐操作,同时增强文本语义表示的质量,分别得到文本的字和词最终语义表示;

特征融合编码模块对文本的字和词最终语义表示进行融合,并对其进行编码得到文本的深层语义特征表示,根据相似度计算得到最终的文本对语义匹配张量;

标签预测模块对最终的文本对语义匹配张量进行处理,从而得出一个匹配度数值,将其与设立的阈值进行比较,以此判断文本对的语义是否匹配。

2.根据权利要求1所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法,其特征在于,所述多粒度嵌入模块用于构建字词映射转换表、构建输入模块、构建字词向量映射层;

其中,构建字词映射转换表:映射规则为:以数字1为起始,随后按照每个字或词被录入字词表的顺序依次递增排序,从而形成所需的字词映射转换表;其后,使用Word2Vec训练字词向量模型,得到各字词的字词向量矩阵;

构建输入模块:输入层包括四个输入,对于训练数据集中的每一个文本对或待预测的文本对,对其进行断字和分词预处理,分别获取text1_char、text2_char、text1_word和text2_word,其中后缀char、word分别表示对相应文本进行断字或分词处理而得;对于输入文本中的每个字或词都按照字词映射转换表转化为相应的数字标识;

构建字词向量映射层:加载构建字词映射转换表步骤中训练所得的字词向量矩阵来初始化当前层的权重参数;输入文本text1_char、text2_char、text1_word、text2_word,得到其相应向量text1_char_embed、text2_char_embed、text1_word_embed、text2_word_embed;文本对语义匹配知识库中每一个文本都可以通过字词向量映射的方式,将文本信息转化为向量形式,即字嵌入表示和词嵌入表示。

3.根据权利要求1或2所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法,其特征在于,所述多粒度对齐模块的构建过程具体如下:第一层编码结构使用LSTM对两个文本的字和词嵌入表示分别进行编码,得到字和词特征表示;随后将字和词嵌入表示与对应的字和词特征表示分别进行Concatenate合并得到字和词浅层语义表示,并将字和词浅层语义表示传递给第二层编码结构;对于文本1,公式如下:

其中,[;]表示Concatenate合并操作,N为文本长度; 和 分别表示文本1在字粒度下的第i个位置处的字嵌入表示和字特征表示; 和 分别表示表示文本

1在词粒度下第m个位置处的词嵌入表示和词特征表示; 和 分别表示文本1在字粒度下第i个位置的字浅层语义表示和在词粒度下第m个位置的词浅层语义表示;对于文本2,公式如下:

其中,各符号意义与公式(1)、(2)大致相同,不同的是,Q表示文本2,j表示文本2在字粒度下的第j个位置,n表示文本2在词粒度下的第n个位置;其余表示与此类比,即可明确意义,不再一一赘述;

进一步地,第二层编码结构对于接收的两个文本的字浅层语义表示进行软对齐注意力机制,得到对齐的字浅层语义表示;对于接收的两个文本的词浅层语义表示进行软对齐注意力机制,得到对齐的词浅层语义表示;对于字粒度的软对齐注意力机制,公式如下:其中,s1ij为在字粒度下文本1的第i个位置和文本2第j个位置的相似度权重, 和的含义与公式(1)、(3)一致; 为在字粒度下文本1在第i个位置处的对齐的字浅层语义表示,它是根据相似度权重对文本2中每个字的字浅层语义表示加权求和得到的,同理 表示文本1在第j个位置处的对齐的字浅层语义表示;

对于词粒度的软对齐注意力机制,公式如下:其中各符号含义与公式(5)‑(7)大致相同,只是将上标c代表的字粒度改为上标w代表的词粒度; 和 分别表示在词粒度下文本1在第m个位置处的词浅层语义表示和对齐的词浅层语义表示, 和 分别表示在词粒度下文本2在第n个位置处的词浅层语义表示和对齐的词浅层语义表示;

进一步地,因为文本1得到的对齐的字或词浅层语义表示是从文本2的字或词浅层语义表示中获得的,所以分别将文本1得到的对齐的字和词浅层语义表示与文本2的字和词浅层语义表示使用Add相加,分别作为文本2的字和词最终语义表示;同样的方法,分别得到文本

1的字和词最终语义表示;公式如下:c c w w

其中,p、q、p、q分别表示文本1和文本2在字粒度上所有字浅层语义表示的集合,以及在词粒度上所有词浅层语义表示的集合; 分别表示文本1和文本2在字粒度上所有对齐的字浅层语义表示的集合,以及词粒度上所有对齐的词浅层语义表示的集合; 分别表示文本1和文本2在字粒度上的字最终语义表示, 分别表示文本1和文本2在词粒度上的词最终语义表示。

4.根据权利要求1或3所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法,其特征在于,所述特征融合编码模块的构建过程具体如下:特征融合编码模块进一步处理多粒度对齐模块中生成的字和词最终语义表示,首先将每个文本的字和词最终语义表示使用Add相加进行融合,从而得到文本特征表示;随后使用LSTM对文本特征表示进行编码,得到文本编码结果,并将文本特征表示与文本编码结果使用Concatenate拼接后传递给BiLSTM进一步编码,从而得到文本的深层语义特征;公式如下:

pl=BiLSTM([p;LSTM(p)]),     (14)ql=BiLSTM([q;LSTM(q)]).      (15)其中,[;]表示Concatenate拼接, 与公式(11)和公式(12)的含义一致;p表示文本1的特征表示,q表示文本2的特征表示;pl表示文本1的深层语义特征,ql表示文本2的深层语义特征;

进一步地,对文本1和文本2的深层语义特征,使用两种相似度计算公式计算文本语义相似度,并将两种公式的结果进行拼接,作为最终的文本对语义匹配张量;公式如下:f=[|pl‑ql|;pl⊙ql].      (16)其中,[;]表示拼接操作,⊙表示按元素位置相乘,pl表示文本1的深层语义特征,ql表示文本2的深层语义特征,f为最终的文本对语义匹配张量。

5.根据权利要求4所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法,其特征在于,所述标签预测模块构建过程如下:将最终的文本对语义匹配张量将作为本模块的输入,其经过三层全连接网络处理,从而得到一个在[0,1]之间的匹配值,记为ypred,并与预先设置的阈值进行比较,若ypred大于等于阈值,则认为文本对语义是匹配的,反之则不匹配;当文本对语义匹配模型尚未充分训练时,需要在训练数据集上进行训练,以优化模型参数;当模型训练完毕时,标签预测模块可预测目标文本对的语义是否匹配。

6.根据权利要求5所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法,其特征在于,所述文本对语义匹配知识库构建具体如下:下载网络上的数据集获取原始数据:下载网络上已经公开的语义相似度数据集或人工构建数据集,将其作为构建文本对语义匹配知识库的原始数据;

预处理原始数据:预处理用于构建文本对语义匹配知识库的原始数据,对原始数据的每个文本都进行断字和分词操作,得到文本对语义匹配断字处理知识库、分词处理知识库;

汇总子知识库:汇总文本对语义匹配断字处理知识库和文本对语义匹配分词处理知识库,构建文本对语义匹配知识库;

所述文本对语义匹配模型通过使用训练数据集进行训练而得到,训练数据集的构建过程如下:

构建训练正例:将语义一致的文本对用于构建训练正例;由于文本对语义匹配知识库包含两个子知识库,所以每一个正例文本对都有两种初始表示形式,将其合并得到最终的正例数据,标注为1;

构建训练负例:从训练正例数据中选出一个文本,并随机的从其他文本对中选出一个意图不一致的文本,将这两个文本构建成训练负例,标注为0;

构建训练数据集:将经过构建训练正例和构建训练负例操作后所获得的训练正例数据和训练负例数据进行合并,并打乱顺序,构建最终的训练数据集;对于训练数据集中的每个数据都包含五个维度,即text1_char,text2_char,text1_word,text2_word,0或1;

所述文本对语义匹配模型构建完成后通过训练数据集进行文本对语义匹配模型的训练与优化,具体如下:

构建损失函数:由标签预测模块构建过程可知,ypred是经过文本对语义匹配模型处理后得到的匹配值,ytrue是两个文本语义是否匹配的真实标签;采用修正的二元交叉熵作为损失函数,公式如下:

λ(ytrue,ypred)=1‑θ(ytrue‑m)θ(ypred‑m)‑θ(1‑m‑ytrue)θ(1‑m‑ypred),  (18)其中θ(x)为单位阶跃函数,m为阈值,此处将其设置为0.6,L表示修正后的交叉熵公式;

优化训练模型:选用Adam优化函数作为本模型的优化函数,超参数均选择Keras中的默认值设置;在训练数据集上,对文本对语义匹配模型进行优化训练。

7.面向银行咨询服务基于多粒度对齐的文本对语义匹配装置,其特征在于,该装置包括,

文本对语义匹配知识库构建单元,用于获取大量的文本对数据,随后对数据进行预处理,从而得到符合训练要求的文本对语义匹配知识库;

训练数据集生成单元,对于文本对语义匹配知识库中的文本对,若其语义一致,则该文本对用于构建训练正例,反之,则用于构建训练负例;将大量的正例数据和负例数据进行混合,得到训练数据集;

文本对语义匹配模型构建单元,用于构建字词映射转换表、输入模块、字词向量映射层、多粒度对齐模块、特征融合编码模块和标签预测模块;文本对语义匹配模型构建单元包括,字词映射转换表构建单元,负责对文本对语义匹配知识库中的每个文本按字和词粒度切分,并将字和词依次存入字词表中,随后从1开始,按照每个字和词进入字词表的顺序递增排序,从而得到所需的字词映射转换表;其后,使用Word2Vec训练字词向量模型,得到各字词的字词向量矩阵;

输入模块构建单元,负责加载字词映射转换表构建单元中的字词映射转换表,将文本对转化为数字标识;

字词向量映射层构建单元,负责加载字词映射转换表构建单元中的字词向量矩阵,将文本信息转化为向量形式,即字嵌入表示和词嵌入表示;

多粒度对齐模块构建单元,负责对字和词嵌入表示进行编码,首先通过第一层编码结构对字和词嵌入表示分别进行编码,得到字和词浅层语义表示,将其传入第二层编码结构;

第二层编码结构分别对两个文本的字和词浅层语义表示进行软对齐注意力机制,随后将得到的文本1对齐的字和词浅层语义表示分别与文本2的字和词浅层语义表示相加,分别作为文本2的字和词最终语义表示,使用同样的方法分别得到文本1的字和词最终语义表示;

特征融合编码模块构建单元,负责进一步处理字和词最终语义表示,通过对字和词最终语义表示进行合并得到文本的特征表示,随后对文本的特征表示使用LSTM和BiLSTM进行编码得到文本的深层语义特征,最后对两个文本的深层语义特征进行相似度计算得到最终的文本对语义匹配张量;

标签预测模块单元,负责对最终的文本对语义匹配张量进行处理,从而得出一个匹配度数值,将其与设立的阈值进行比较,以此判断文本对的语义是否匹配;

文本对语义匹配模型训练单元,用于构建模型训练过程中所需要的损失函数,并完成模型的优化训练。

8.根据权利要求7所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配装置,其特征在于,所述文本对语义匹配知识库构建单元包括,文本对数据获取单元,负责下载网络上已经公开的语义相似度数据集或人工构建数据集,将其作为构建文本对语义匹配知识库的原始数据;

原始数据断字和分词预处理单元,负责对原始数据的每个文本都进行断字和分词操作,从而构建得到文本对语义匹配断字处理知识库、分词处理知识库;

子知识库汇总单元,负责汇总文本对语义匹配断字处理知识库和文本对语义匹配分词处理知识库,构建文本对语义匹配知识库;

所述训练数据集生成单元包括,

训练正例数据构建单元,负责将文本对语义匹配知识库中两个语义一致的文本与标签

1构建为训练正例数据;

训练负例数据构建单元,负责从每个训练正例数据中挑选出一个文本,然后随机选一个与其语义不同的文本组合为文本对,与标签0构建为训练负例数据;

训练数据集构建单元,负责将所有的训练正例数据与训练负例数据组合在一起,并打乱顺序,从而构建最终的训练数据集;

所述文本对语义匹配模型训练单元包括,损失函数构建单元,负责计算预测的匹配值与真实的匹配值之间的误差;

模型优化单元,负责训练并调整模型训练中的参数,减小预测误差。

9.一种存储介质,其中存储有多条指令,其特征在于,所述指令有处理器加载,执行权利要求1‑6中所述的面向银行咨询服务基于多粒度对齐的文本对语义匹配方法的步骤。

10.一种电子设备,其特征在于,所述电子设备包括:权利要求9所述的存储介质;以及处理器,用于执行所述存储介质中的指令。