1.一种基于多专家机制的篇章结构分析系统,其特征在于,包括字级编码模块、基于多专家机制的EDU级编码模块、解码上下文学习模块、基于多专家指针网络的解码模块、基于大模型生成语料的预训练模块和基于人工标注篇章语料的微调模块;
字级编码模块基于预训练语言模型学习基本篇章单元的初步语义表示,基本篇章单元是采用基本篇章单元识别工具对输入文本切分得到;
基于多专家机制的EDU级编码模块以基本篇章单元的初步语义表示为输入,采用融合多专家机制的Transformer层学习基本篇章单元的最终语义,所述融合多专家机制的Transformer层至少包括多专家机制层,在多专家机制层中计算所有领域私有专家对应的权重,然后选择权重最高的k个领域私有专家,再基于共享专家和选择的k个领域私有专家,计算基本篇章单元的上下文表示,最后以基本篇章单元的上下文表示为输入计算基本篇章单元的最终语义表示;
解码上下文学习模块以基本篇章单元的最终语义表示为输入,计算待切分文本片段的语义表示,然后基于长短时记忆网络学习解码上下文表示;
基于多专家指针网络的解码模块以解码上下文表示为输入,利用多专家指针网络中的共享指针网络和领域私有指针网络预测待切分文本片段的最优切分位置,利用最优切分位置对待切分文本片段进行切分,以构建出完整的篇章结构树;
基于大模型生成语料的预训练模块利用大语言模型生成多个领域的自动标注篇章语料,并对篇章结构分析系统进行预训练,得到预训练的篇章结构分析系统;
基于人工标注篇章语料的微调模块利用人工标注篇章语料对预训练的篇章结构分析系统进行微调阶段的训练,得到训练完成的篇章结构分析系统。
2.根据权利要求1所述的基于多专家机制的篇章结构分析系统,其特征在于,字级编码模块满足下式:;
其中, 为第 个基本篇章单元的初步语义表示, 为预训练语言模型, 为拼接的全局占位符, 、 、 分别为第 个基本篇章单元中的第1个、第 个、第 个词。
3.根据权利要求2所述的基于多专家机制的篇章结构分析系统,其特征在于,基于多专家机制的EDU级编码模块满足下式:;
其中, 、 、 分别为第1个、第 个、第 个基本篇章单元的最终语义表示, 、分别为第1个、第 个基本篇章单元的初步语义表示, 表示融合多专家机制的Transformer层。
4.根据权利要求3所述的基于多专家机制的篇章结构分析系统,其特征在于,在多专家机制层中计算所有领域私有专家对应的权重,然后选择权重最高的k个领域私有专家的过程中,满足下式:;
;
;
其中, 、 分别为选择的第1个、第k个领域私有专家对应的权重, 为归一化函数, 、 分别为选择的第1个、第k个领域私有专家对应的权重向量分量, 、 分别为对应 、 的索引, 表示输出向量中最大的k个值和对应索引的函数,为对应于所有领域私有专家的权重向量, 是需要学习的第一参数矩阵。
5.根据权利要求4所述的基于多专家机制的篇章结构分析系统,其特征在于,基于共享专家和选择的k个领域私有专家,计算基本篇章单元的上下文表示的过程中,满足下式:+ ;
;
;
其中, 是第 个基本篇章单元的上下文表示,为共享专家的数量, 为第 个用作共享专家的注意力机制, 为第 个用作领域私有专家的注意力机制, 为经过计算得到的第 个基本篇章单元的上下文表示, 为经过 计算得到的第个基本篇章单元的上下文表示, 为选择的第 个领域私有专家对应的权重。
6.根据权利要求5所述的基于多专家机制的篇章结构分析系统,其特征在于,以基本篇章单元的上下文表示为输入计算基本篇章单元的最终语义表示的过程中,满足下式:;
其中, 是第 个基本篇章单元的最终语义表示, 为残差连接操作, 为归一化层,为前馈全连接层。
7.根据权利要求6所述的基于多专家机制的篇章结构分析系统,其特征在于,解码上下文学习模块满足下式:;
;
其中, 是由第 个到第 个连续的基本篇章单元组成的待切分文本片段 的语义表示, 是融合多个向量表示的子网络, 是第 个基本篇章单元的最终语义表示,是第 个时刻的解码上下文表示, 是长短时记忆网络, 是第 ‑1个时刻的解码上下文表示。
8.根据权利要求7所述的基于多专家机制的篇章结构分析系统,其特征在于,在基于多专家指针网络的解码模块中,对于待切分文本片段 ,先计算切分位置 处的语义表示, ,公式如下:;
其中, 是 的切分位置 处的语义表示, 为多层前馈神经网络,、 分别是第 个、第 个基本篇章单元的最终语义表示;
然后,计算所有领域私有指针网络对应的权重,并选择权重最高的 个领域私有指针网络,表达式如下:;
;
;
其中, 、 分别为选择的第1个、第q个领域私有指针网络对应的权重, 、 为选择的第1个、第q个领域私有指针网络对应的权重向量分量, 、 分别为对应 、 的索引,为对应于所有领域私有指针网络的权重向量, 是需要学习的第二参数矩阵;
接着,基于共享指针网络和选择的q个领域私有指针网络计算候选切分位置的最终权重向量,表达式如下:+ ;
;
;
其中, 表示候选切分位置的最终权重向量,是共享指针网络的数量, 为第 个共享指针网络, 为第 个领域私有指针网络, 为经过 计算得到的候选切分位置的权重向量, 为经过 计算得到的候选切分位置的权重向量, 是 的切分位置 处的语义表示, 是 的切分位置处的语义表示;
最后,选取 中最大的分量对应的候选切分位置作为最优切分位置,表达式如下:;
其中, 是最优切分位置, 是获取向量中最大分量对应索引的函数。
9.根据权利要求8所述的基于多专家机制的篇章结构分析系统,其特征在于,基于大模型生成语料的预训练模块满足下式:;
其中, 为预训练代价, 为给定的自动标注的多个领域的篇章语料集, 为中的一个语料, 为 中自动标注的句子, 为 中自动标注的第 个切分位置, 为交叉熵代价函数。
10.根据权利要求9所述的基于多专家机制的篇章结构分析系统,其特征在于,基于人工标注篇章语料的微调模块满足下式:;
其中, 为微调阶段的训练代价, 为给定的人工标注篇章语料, 为篇章中预测的第 个切分位置, 为篇章 中人工标注的第 个切分位置。