利索能及
我要发布
收藏
专利号: 2024105661752
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种段落大意引导的汉语篇章结构分析方法,其特征在于,应用于段落大意引导的汉语篇章结构分析模型,所述汉语篇章结构分析模型包括融合词信息的字级编码模块,文本块级稀疏Transformer编码模块、基于指针网络的解码模块、基本文本摘要语料的预训练模块和基于篇章语料的训练模块;

所述方法包括:

融合词信息的字级编码模块按照标点符号集合中的标点符号将输入段落分割为多个文本块,每个文本块的结尾为标点符号,然后融合各文本块中字和词的信息,得到词信息增强的向量表示,最后,基于词信息增强的向量表示,使用多个堆叠的Transformer层对输入段落中各文本块分别进行编码,计算文本块的语义向量表示和文本块对应切分点的语义向量表示;

文本块级稀疏Transformer编码模块基于各个文本块的语义向量表示和文本块对应切分点的语义向量表示,采用稀疏Transformer层计算融合段落大意的文本块语义向量表示和融合段落大意的切分点语义向量表示,然后计算文本片段的语义向量表示;

基于指针网络的解码模块以文本片段的语义向量表示和融合段落大意的切分点语义向量表示为输入,依次计算各切分操作的位置,对于待切分的文本片段和需要进行的第 次切分操作,选择权重向量中最大的权重值对应的切分点作为第 次切分操作的位置,当切分位置为该文本片段的最后一个切分点时,表明该文本片段不需要再切分;

基本文本摘要语料的预训练模块先对融合词信息的字级编码模块和文本块级稀疏Transformer编码模块进行预训练,然后,利用基于篇章语料的训练模块完成最终的训练,得到训练好的段落大意引导的汉语篇章结构分析模型。

2.根据权利要求1所述的段落大意引导的汉语篇章结构分析方法,其特征在于,融合词信息的字级编码模块中,采用下式融合各文本块中字和词的信息,得到词信息增强的向量表示:;

其中, 为第 个文本块 中第 个字的向量表示, 为由第 个文本块 中包含第 个字的所有可能的词的词向量构成的矩阵, 为第 个文本块 中第 个字的词信息增强的向量表示, 为融合字词信息的操作;

融合词信息的字级编码模块中,采用下式计算文本块的语义向量表示和文本块对应切分点的语义向量表示:;

其中, 为第 个文本块 的语义向量表示, 为第 个文本块 对应切分点的语义向量表示, 为堆叠的多个Transformer层, 为在文本块开头拼接的占位符的向量表示, 、 分别为第 个文本块 中第1个字、第B个字的词信息增强的向量表示,B为第 个文本块 中字的数量, 为第 个文本块 中最后的标点符号的向量表示。

3.根据权利要求2所述的段落大意引导的汉语篇章结构分析方法,其特征在于,文本块级稀疏Transformer编码模块基于各个文本块的语义向量表示和文本块对应切分点的语义向量表示,采用稀疏Transformer层计算融合段落大意的文本块语义向量表示的过程中,满足以下条件式:;

其中, 为段落占位符的语义向量表示, 为段落大意的语义向量表示, 、 分别为第1个文本块 、第N个文本块 的语义向量表示,N为输入段落中文本块的总数, 、 、 分别为融合段落大意的第1个文本块 、第 个文本块 、第N个文本块 的语义向量表示, 、 分别为第1个文本块 、第N个文本块对应切分点的语义向量表示, 、 、 分别为融合段落大意的第1个、第个、第N个切分点的语义向量表示,SparseTrans为堆叠的多个稀疏Transformer层;

文本块级稀疏Transformer编码模块中,采用下式计算文本片段的语义向量表示:;

其中, 为文本片段 的语义向量表示,文本片段 表示输入段落中从第个文本块 到第 个文本块 的多个连续文本块, 为融合段落大意的第 个文本块 的语义向量表示, 为融合多个向量中信息的操作。

4.根据权利要求3所述的段落大意引导的汉语篇章结构分析方法,其特征在于,基于指针网络的解码模块满足以下条件式:;

其中, 和 分别为LSTM中当前时刻和前一时刻的隐藏状态,Atten为注意力机制,为融合段落大意的第 个切分点的语义向量表示, 和 用作注意力机制中的键和值, 为归一化后的权重向量, 为查找最大值索引的函数, 为预测的第 个切分操作的位置。

5.根据权利要求4所述的段落大意引导的汉语篇章结构分析方法,其特征在于,基本文本摘要语料的预训练模块先对融合词信息的字级编码模块和文本块级稀疏Transformer编码模块进行预训练,具体包括:将融合词信息的字级编码模块和文本块级稀疏Transformer编码模块作为文本摘要模型的编码器,并叠加一个基于LSTM的解码器,用于文本摘要任务,给定文本摘要语料中的段落 ,首先利用编码器计算其段落大意,表达式如下:;

其中, 为 的段落大意的语义向量表示, 为编码器;

然后,利用解码器生成输入段落的摘要文本,表达式如下:

其中, 为生成的文本摘要, 为解码器;

最后,定义基于文本摘要的预训练代价 如下:

其中, 为人工标注的段落 的真实文本摘要, 为可用于文本摘要任务的代价函数;

通过最小化预训练代价 直到文本摘要模型收敛,即完成了预训练过程。

6.根据权利要求5所述的段落大意引导的汉语篇章结构分析方法,其特征在于,利用基于篇章语料的训练模块完成最终的训练,得到训练好的段落大意引导的汉语篇章结构分析模型,具体包括:对于给定人工标注的汉语篇章语料 ,定义基于篇章结构分析的训练代价 ,表达式如下:;

其中,P表示输入段落, 、 、 分别为人工标注的输入段落P的1个、个、T个切分操作的位置, 、 、 分别为预测的第1个、第 个、第T个切分操作的位置, 为用于衡量两个切分操作位置序列 和 差异的代价函数;

通过最小化训练代价 直到模型收敛,从而得到训练好的段落大意引导的汉语篇章结构分析模型。