1.一种基于短语交互的隐式篇章关系识别方法,其特征在于,所述方法包括:根据隐式篇章关系识别模型对隐式篇章关系样本中的第一样本论元和第二样本论元进行词编码,得到所述隐式篇章关系样本的全局向量表示、第一词向量矩阵和第二词向量矩阵,所述第一词向量矩阵由所述第一样本论元中的词向量构成,所述第二词向量矩阵由所述第二样本论元中的词向量构成;
对所述第一词向量矩阵和所述第二词向量矩阵进行短语编码,得到短语向量矩阵,并在所述短语向量矩阵中融入位置信息,得到增强向量矩阵;
根据所述增强向量矩阵和掩码矩阵进行短语交互,得到交互信息矩阵,并根据所述交互信息矩阵确定交互信息向量表示;
根据所述交互信息向量表示和所述全局向量表示进行分类预测,得到预测类别概率分布,根据所述预测类别概率分布确定模型损失,并根据所述模型损失对所述隐式篇章关系识别模型进行训练;
将待识别样本输入训练后的所述隐式篇章关系识别模型进行关系识别,得到篇章关系识别结果;
根据隐式篇章关系识别模型对隐式篇章关系样本中的第一样本论元和第二样本论元进行词编码采用的公式包括:隐式篇章关系样本 ;
;
其中, 为所述第一样本论元, 为所述第二样本论元,PLM为预训练语言模型, 为所述全局向量表示, 为所述第一词向量矩阵, 为所述第二词向量矩阵;
对所述第一词向量矩阵和所述第二词向量矩阵进行短语编码采用的公式包括: ;
其中,CNN为卷积神经网络, 为所述第一样本论元中长度为 的短语的向量表示构成的矩阵, , 为所述第二样本论元中长度为 的短语的向量表示构成的矩阵,N为预设的最大短语长度;
;
其中, 为所述短语向量矩阵, 为所述第一样本论元中所有短语的向量表示构成的矩阵, 为所述第二样本论元中所有短语的向量表示构成的矩阵;
在所述短语向量矩阵中融入位置信息采用的公式包括:
;
其中, 为所述增强向量矩阵, 为短语次序信息矩阵, 由可学习的位置向量拼接而成, ,K为样本论元中短语的最大次序, 为短语所属论元的指示矩阵, 由可学习的向量 和 拼接而成, 和 分别为短语属于所述第一样本论元和所述第二样本论元的指示向量;
根据所述增强向量矩阵和掩码矩阵进行短语交互采用的公式包括: ;
其中, 为所述交互信息矩阵, 和 分别为第 个注意力机制中的查询和键, 和 为需要学习的参数矩阵,Softmax为归一化函数,T为矩阵的转置操作,M为所述掩码矩阵,I为注意力机制的数量, 为给定掩码后的权重矩阵的Transformer层, 为掩码后的权重矩阵;
根据所述交互信息矩阵确定交互信息向量表示采用的公式包括:
;
其中, 为所述交互信息向量表示, 为点积型注意力机制, 为需要学习的上下文参数向量。
2.如权利要求1所述的基于短语交互的隐式篇章关系识别方法,其特征在于,根据所述交互信息向量表示和所述全局向量表示进行分类预测采用的公式包括: ;
其中,MLP1、MLP2和MLP3分别为第一分类层、第二分类层和第三分类层,每个分类层由多个前馈非线性层叠加一个Softmax层构成, 表示向量或矩阵的拼接操作, 、 和 分别为第一预测类别概率分布、第二预测类别概率分布和第三预测类别概率分布, 为所述预测类别概率分布, 为所述全局向量表示, 为所述交互信息向量表示, 的第 个值为所述隐式篇章关系样本属于第 个类别的概率,所述预测类别概率分布包括第一预测类别概率分布、第二预测类别概率分布和第三预测类别概率分布。
3.如权利要求2所述的基于短语交互的隐式篇章关系识别方法,其特征在于,根据所述预测类别概率分布确定模型损失采用的公式包括: ;
其中, 为所述隐式篇章关系样本, 为所述隐式篇章关系样本的真实类别的独热编码表示, 为 的第 个值, 、 和 分别为所述隐式篇章关系样本的预测结果 、和 中的第 个值, 为隐式篇章关系类别的总数量,D是由多个隐式篇章关系样本及其真实类别的独热编码表示组成的训练数据集, 为所述训练数据集中的样本数量,、 和 分别为对应于第一预测类别概率分布、第二预测类别概率分布和第三预测类别概率分布的交叉熵代价函数, 、 和 为相应代价对应的权重系数, 为多任务学习代价函数, 的输出值为所述模型损失。
4.一种基于短语交互的隐式篇章关系识别系统,其特征在于,应用如权利要求1至3任一项所述的基于短语交互的隐式篇章关系识别方法,所述系统包括:词编码模块,用于根据隐式篇章关系识别模型对隐式篇章关系样本中的第一样本论元和第二样本论元进行词编码,得到所述隐式篇章关系样本的全局向量表示、第一词向量矩阵和第二词向量矩阵,所述第一词向量矩阵由所述第一样本论元中的词向量构成,所述第二词向量矩阵由所述第二样本论元中的词向量构成;
短语编码模块,用于对所述第一词向量矩阵和所述第二词向量矩阵进行短语编码,得到短语向量矩阵,并在所述短语向量矩阵中融入位置信息,得到增强向量矩阵;
短语交互模块,用于根据所述增强向量矩阵和掩码矩阵进行短语交互,得到交互信息矩阵,并根据所述交互信息矩阵确定交互信息向量表示;
联合预测模块,用于根据所述交互信息向量表示和所述全局向量表示进行分类预测,得到预测类别概率分布;
多任务学习代价函数模块,用于根据所述预测类别概率分布确定模型损失,并根据所述模型损失对所述隐式篇章关系识别模型进行训练;
关系识别模块,用于将待识别样本输入训练后的所述隐式篇章关系识别模型进行关系识别,得到篇章关系识别结果。