1.融合多标签对比学习和KNN的层次文本分类方法,其特征在于,包括:通过Graphormer编码标签层次结构,获得代表每个标签节点特征的标签表示,计算每个所述标签表示和每个文本词元嵌入之间的注意力权重,基于所述注意力权重构建正样本,将原始输入文本与所述正样本分别输入到BERT模型中,获得对应的文本表示;
计算所述原始输入文本与所述正样本的文本表示的多标签对比损失,并将所述原始输入文本和所述正样本的文本表示输入到多标签分类器,分别计算分类损失;
对所述多标签对比损失、原始输入文本和正样本的所述分类损失进行求和,得到总损失,基于所述总损失训练所述BERT模型;
将测试样本输入到训练好的模型中,获得测试样本的文本表示,采用KNN检索与所述测试样本的文本表示相似度最高的k个训练样本作为最近邻居样本,并将所述邻居样本的标签作为KNN预测结果,并将所述测试样本的文本表示输入至所述多标签分类器,获取训练好的模型的预测结果;
将所述KNN预测结果与所述训练好的模型的预测结果进行线性融合,获得最终的预测结果;
通过Graphormer编码标签层次结构,获得所述标签表示,包括:将节点的原始特征初始化为标签嵌入和名称嵌入的和,并将所有标签节点的表示堆叠为矩阵 ,通过自注意力层来进行特征迁移,最终所述标签表示通过自注意力层公式进行计算;
将所述节点的原始特征初始化为标签嵌入和名称嵌入的和的方法为:式中, 为标签嵌入和名称嵌入的和,
为可学习的标签嵌入, 为名称嵌入, 为第i个标签节点;
计算所述标签表示的方法为:
式中,为标签表示, 为层归一化, 为注意力权重矩阵, 为value矩阵, 为所有标签节点表示 堆叠而成的矩阵,表示矩阵形状;
计算每个所述标签表示和每个文本词元嵌入之间的注意力权重的方法为:式中, 为每个标签表示和每个文本词元嵌入之间的注意力权重,为输入文本第个词元的BERT词元嵌入,为第 个标签的表示, 为标签表示的尺寸, 和 分别为权重矩阵Q和权重矩阵K, , ,R为矩阵形状;
基于所述注意力权重构建正样本,包括:
通过gumbel‑softmax计算所述原始输入文本中任意词元属于所述原始输入文本真实标签集的概率,保留原始输入文本中概率高于预设阈值的词元,并将概率低于所述预设阈值的词元替换为嵌入全为0的特殊词元,得到所述正样本;
其中,构建所述正样本的方法为:
式中, 为词元 的正样本, 为任意词元, 为 关于真实标签集的概率,为固定阈值;
计算所述原始输入文本中任意词元属于所述原始输入文本真实标签集的概率的方法为:式中, 为元 属于标签 的概率,
为词元 关于标签 的注意力权重,为第 个标签;
由于层次文本分类中一个文本拥有多个标签,则某个词元 关于其真实标签集 的概率为:其中, 为词元 关于其真实标签集 的概率,为该文本的真实标签集合。
2.根据权利要求1所述的融合多标签对比学习和KNN的层次文本分类方法,其特征在于,计算所述原始输入文本与所述正样本的文本表示的多标签对比损失,包括:在批量大小为 的原始样本及其对应的正样本对的隐藏状态对 上添加非线性层,对于具有 个样本的批次 ,计算每个样本对的多标签对比损失,最终的所述多标签对比损失为所有样本对的损失总和;
其中,计算所述多标签对比损失的方法为:
式中, 为多标签对比损失, 为第i个样本与第j个样本形成的样本对的多标签对比损失,N为批次大小。
3.根据权利要求2所述的融合多标签对比学习和KNN的层次文本分类方法,其特征在于,将所述原始输入文本和所述正样本的文本表示输入到多标签分类器,分别计算分类损失,包括:将第个输入文本的隐藏特征输入到线性层中,使用sigmoid函数来计算文本关于标签的概率,并计算多标签分类的交叉熵损失函数:其中, 为
权重, 为偏差, , , 为标签类别数量, 为多标签分类的交叉熵损失函数,N为批次大小, 为真实标签, 为预测概率,为矩阵形状;
将式中 替换为 ,计算正样本的所述分类损失 。
4.根据权利要求1所述的融合多标签对比学习和KNN的层次文本分类方法,其特征在于,获得所述总损失的方法为:式中, 为总损失, 为多标签分类的交叉熵损失函数, 为分类损失,为控制多标签对比损失权重的超参数, 为样本对的损失总和。
5.根据权利要求1所述的融合多标签对比学习和KNN的层次文本分类方法,其特征在于,采用KNN检索与所述测试样本的文本表示相似度最高的k个训练样本作为最近邻居样本,并将所述邻居样本的标签作为KNN预测结果,包括:收集所有训练样本的文本表示及其对应的标签,构成Datastore,即,其中, 为训练好的模型生成的第个样本的文本表示向量,为第 个样本的真实标签向量, ;
给定测试样本 ,将所述测试样本输入到训练好的模型中得到文本表示向量 ,计算所述文本表示向量 与 集合中所有文本表示 的余弦相似度,并选择k个相似度最高的样本,即 ,作为最近邻居;
计算KNN预测结果:
其中, 为KNN预测结果, 为
KNN的温度超参数, 为第 个邻居的权重, 为第 个邻居的文本表示。
6.根据权利要求1所述的融合多标签对比学习和KNN的层次文本分类方法,其特征在于,将所述KNN预测结果与所述训练好的模型的预测结果进行线性融合的方法为:其中, 为最终的预测结果,为控制模型预测和KNN预测的比例参数, 表示模型预测结果, 为KNN预测结果。