利索能及
我要发布
收藏
专利号: 2024104883680
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种细分领域增强的隐式篇章关系识别方法,其特征在于,应用于隐式篇章关系识别模型,所述隐式篇章关系识别模型包括基础编码模块、多个细分领域编码模块、综合领域编码及分类模块、细分领域训练模块和综合领域训练模块;

所述方法包括:

基础编码模块通过预训练语言模型学习输入实例的多层语义表示,然后提取预训练语言模型中预设层数的Transformer层的输出作为输入实例的多层语义表示;

各个细分领域编码模块以输入实例的多层语义表示为输入,计算得到各个细分领域的多层语义表示,其中,每个细分领域编码模块包括多个适配层,且适配层的数量与输入实例多层语义表示的层数一致,每个适配层以对应的输入实例的语义表示以及上一个适配层的输出为输入,计算得到对应的适配层输出;

综合领域编码及分类模块在各个细分领域的多层语义表示的基础上,学习输入实例在综合领域的多层语义表示,然后基于分类层进行隐式篇章关系识别;

细分领域训练模块基于多个细分领域的显式篇章关系数据,分别对相应细分领域编码模块进行训练,综合领域训练模块基于人工标注隐式篇章关系数据,对综合领域编码及分类模块进行训练,直至模型收敛;

细分领域编码模块的数量为K个,每个细分领域编码模块包括N个适配层,将输入实例的第 层语义表示 作为第 个适配层的输入之一,每个适配层由依次堆叠的第一前向计算层、Transformer层和第二前向计算层组成,第 个细分领域编码模块的第 个适配层的输出的计算过程如下:;

其中, 为第 个细分领域编码模块的第 个适配层的输出, 为第 个细分领域编码模块的第 个适配层的输出, 、 和 分别为第个细分领域编码模块的第 个适配层中的第一前向计算层、第二前向计算层和Transformer层, 为第 个细分领域编码模块的第 个适配层中的第一前向计算层的输出, 为第 个细分领域编码模块的第 个适配层中的Transformer层的输出;

综合领域编码及分类模块包括多个交替堆叠的适配层和增强层,最后叠加一个分类层;

给定K个细分领域编码模块中所有第 个适配层的输出 、综合领域编码及分类模块中第 个适配层的输出 ,综合领域编码及分类模块中第 个增强层的输出的计算过程如下:;

其中, 、 分别为第1个、第K个细分领域编码模块的第 个适配层的输出,为第 个增强层的输出, 为按列计算的注意力机制;

对于第N个增强层的输出 ,分类层首先计算输入实例最终的语义向量表示 ,然后计算预测结果 ,具体如下:;

其中, 为归一化指数函数, 为按行进行最大池化操

作, 和 为分类层中需要学习的参数;

在细分领域训练模块中,在第 个细分领域编码器的最上层叠加两个用于相应细分领域的分类层,一个分类层用于计算数据集中实例 的连接词预测结果 ,为实例 中的两个论元, 为自然标注的连接词, 为自动标注的篇章关系类别, 为篇章关系类别的可信度,另一个分类层用于计算隐式篇章关系预测结果 ;

细分领域训练模块满足以下表达式:

其中, 为第 个细分领域编码器的训练代价, 为第 个细分领域编码器和叠加的两个分类层中需要训练的参数的集合, 为从第 个细分领域自动抽取的显式篇章关系数据集, 为用于分类的交叉熵代价函数;

综合领域训练模块满足以下表达式:

其中, 为综合领域编码及分类模块的训练代价, 为综合领域编码及分类模块中需要训练的参数, 为人工标注的综合领域的隐式篇章关系数据集,为 中的实例, 为实例 中的两个论元, 为人工标注的篇章关系类别, 为实例 经过综合领域编码及分类模块计算得到的预测结果。

2.根据权利要求1所述的细分领域增强的隐式篇章关系识别方法,其特征在于,基础编码模块满足以下条件式:;

其中, 为输入实例, 为预训练语言模型, 分别为 中第1层Transformer层、第 层Transformer层、第M层Transformer层的输出,M为 中Transformer层的总层数, 分别为输入实例的第1层、第 层、第N层语义表示,N为输入实例多层语义表示的层数, , 为需要提取的层的序号列表,SEL为根据序号列表提取相应层输出的操作。