1.一种大语言模型生成数据增强的隐式篇章关系识别方法,其特征在于,应用于隐式篇章关系识别模型,所述隐式篇章关系识别模型包括基于大语言模型的数据生成模块、基于预训练模型的编码模块、多级交互模块和动态分类模块;
所述方法包括:
基于大语言模型的数据生成模块利用多样性增强提示,在原始实例的基础上,得到多样性增强的实例,并利用上下文增强提示,在原始实例的基础上,得到上下文增强的实例;
在基于预训练模型的编码模块中,通过预训练语言模型对原始实例进行编码,得到原始论元的初始语义矩阵表示,且通过预训练语言模型对多样性增强的实例进行编码,得到多样性增强论元的初始语义矩阵表示,以及通过预训练语言模型对上下文增强的实例进行编码,得到上下文增强论元的初始语义矩阵表示;
在多级交互模块中,利用原始论元的初始语义矩阵表示,通过双向注意力机制建模原始论元之间的交互,得到原始实例的最终语义向量表示,且利用原始论元的初始语义矩阵表示和多样性增强论元的初始语义矩阵表示,通过双向注意力机制建模原始论元和多样性增强论元之间的交互,得到多样性增强后实例的最终语义向量表示,以及利用原始论元的初始语义矩阵表示和上下文增强论元的初始语义矩阵表示,通过双向注意力机制建模原始论元和上下文增强论元之间的交互,得到上下文增强后实例的最终语义向量表示;
动态分类模块包括第一分类层、第二分类层和第三分类层,第一分类层基于原始实例的最终语义向量表示进行分类,第二分类层基于多样性增强后实例的最终语义向量表示进行分类,第三分类层基于上下文增强后实例的最终语义向量表示进行分类,分别计算得到三种分类结果,从三种分类结果中选择可信度最高的分类结果作为最终预测结果。
2.根据权利要求1所述的大语言模型生成数据增强的隐式篇章关系识别方法,其特征在于,基于大语言模型的数据生成模块利用多样性增强提示,在原始实例的基础上,得到多样性增强的实例的过程中,满足以下条件式:;
其中, 和 分别是原始实例中的论元1和论元2, 是大语言模型, 和分别是多样性增强的实例中的论元1和论元2, 是多样性增强提示,所述多样性增强提示用于激发大语言模型增强原始实例的多样性;
基于大语言模型的数据生成模块利用上下文增强提示,在原始实例的基础上,得到上下文增强的实例的过程中,满足以下条件式:;
其中, 和 分别是上下文增强的实例中的论元1和论元2, 是上下文增强提示,所述上下文增强提示用于激发大语言模型扩充原始实例的上下文信息。
3.根据权利要求2所述的大语言模型生成数据增强的隐式篇章关系识别方法,其特征在于,在基于预训练模型的编码模块中,通过预训练语言模型对原始实例进行编码,得到原始论元的初始语义矩阵表示的过程中,满足以下条件式:;
其中, 和 分别为 和 的初始语义矩阵表示, 是预训练语言模型;
通过预训练语言模型对多样性增强的实例进行编码,得到多样性增强论元的初始语义矩阵表示的过程中,满足以下条件式:;
其中, 和 分别为 和 的初始语义矩阵表示;
通过预训练语言模型对上下文增强的实例进行编码,得到上下文增强论元的初始语义矩阵表示的过程中,满足以下条件式:;
其中, 和 分别为 和 的初始语义矩阵表示。
4.根据权利要求3所述的大语言模型生成数据增强的隐式篇章关系识别方法,其特征在于,在多级交互模块中,利用原始论元的初始语义矩阵表示,通过双向注意力机制建模原始论元之间的交互,得到原始实例的最终语义向量表示的过程中,满足以下条件式:;
;
其中, 和 分别是交互后的 和 的语义矩阵表示, 为对语义矩阵按行进行平均操作, 是原始实例的最终语义向量表示, 是拼装操作, 是采用第1套参数的双向注意力机制;
利用原始论元的初始语义矩阵表示和多样性增强论元的初始语义矩阵表示,通过双向注意力机制建模原始论元和多样性增强论元之间的交互,得到多样性增强后实例的最终语义向量表示的过程中,满足以下条件式:;
;
;
;
其中, 和 分别是交互后的 和 的语义矩阵表示, 和 分别是交互后的 和 的语义矩阵表示, 和 分别为多样性增强的实例中的论元1和论元2的最终语义矩阵表示, 为多样性增强后实例的最终语义向量表示, 是采用第2套参数的双向注意力机制, 是采用第3套参数的双向注意力机制, 是采用第4套参数的双向注意力机制;
利用原始论元的初始语义矩阵表示和上下文增强论元的初始语义矩阵表示,通过双向注意力机制建模原始论元和上下文增强论元之间的交互,得到上下文增强后实例的最终语义向量表示的过程中,满足以下条件式:;
;
;
;
其中, 和 分别是交互后的 和 的语义矩阵表示, 和 分别是交互后的和 的语义矩阵表示, 和 分别为上下文增强的实例中的论元1和论元2的最终语义矩阵表示, 为上下文增强后实例的最终语义向量表示, 是采用第5套参数的双向注意力机制, 是采用第6套参数的双向注意力机制, 是采用第7套参数的双向注意力机制。
5.根据权利要求4所述的大语言模型生成数据增强的隐式篇章关系识别方法,其特征在于,第一分类层基于原始实例的最终语义向量表示进行分类的过程中,满足以下条件式:;
其中, 为第一分类层计算得到的预测结果, 和 是第一分类层中需要学习的参数,为归一化指数函数;
第二分类层基于多样性增强后实例的最终语义向量表示进行分类的过程中,满足以下条件式:;
其中, 为第二分类层计算得到的预测结果, 和 是第二分类层中需要学习的参数;
第三分类层基于上下文增强后实例的最终语义向量表示进行分类的过程中,满足以下条件式:;
其中, 为第三分类层计算得到的预测结果, 和 是第三分类层中需要学习的参数;
从三种分类结果中选择可信度最高的分类结果作为最终预测结果的过程中,满足以下条件式:;
其中, 为最终预测结果, 为选择熵最小分类结果的函数。
6.根据权利要求5所述的大语言模型生成数据增强的隐式篇章关系识别方法,其特征在于,隐式篇章关系识别模型的交叉熵代价 的表达式为:;
其中, 为人工标注的数据集, 为交叉熵损失函数, 为真实标签概率分布。