1.一种基于文本的变压器故障智能识别模型的训练方法,其特征在于,包括以下步骤:
获取变压器故障文本数据,所述变压器故障文本数据包括变压器故障信息文本和对应的多个变压器故障类别文本,每个故障类别文本指示一个故障类别标签;获取故障类别文本语义编码向量的步骤包括:步骤11:将所有变压器故障类别文本分别通过分词器,得到对应的不同故障类别的token序列;
步骤12:将不同故障类别的token序列与对应的分类头进行拼接,得到拼接后的变压器故障样本类别文本的token序列;
步骤13:确定每个分类头在拼接后的变压器故障类别文本的token序列的位置;
步骤14:将拼接后的变压器故障样本类别文本的token序列输入基于编码结构的文本语义模型的嵌入层得到变压器故障样本类别文本语义向量;
将故障类别文本输入基于编码结构的文本语义模型的嵌入层,经由基于编码结构的文本语义模型的编码层输出故障类别文本语义编码向量;
将故障信息文本通过文本标签域筛选法处理为待增强文本,并将处理前的故障信息文本与待增强文本组成待增强文本对;所述文本标签域筛选法包括:步骤21:从故障信息文本中筛选出数据量低于平均数据量的少类故障信息文本,并将少类故障信息文本按照标点符号划分为多个语块组成的序列;
步骤22:将少类故障信息文本作为原始文本输入预训练后的变压器故障智能识别模型中,得到原始文本关于每个故障类别的置信度;
步骤23:将原始文本中每个语块的内容去除,得到语义残缺文本,将语义残缺文本输入预训练后的变压器故障智能识别模型中,得到残缺文本关于每个故障类别的置信度;
步骤24:将原始文本关于每个故障类别的置信度与语义残缺文本关于每个故障类别的置信度进行处理,得到两个置信度之间的欧氏距离,并得到每个语块的标签域置信度差异值;
步骤25:重复步骤23~24得到所有语块的标签域置信度差异值,对所有语块的标签域置信度差异值排序后,取标签域置信度差异值最大的语块对应的残缺文本为待增强文本,并与原始文本形成待增强文本对;
将所述待增强文本对输入基于编码结构的文本语义模型的嵌入层,输出初始增强文本向量对;
将初始增强文本向量对输入基于标签域掩码的生成对抗网络进行训练,输出中间增强文本向量;其中,基于标签域掩码的生成对抗网络LM‑GAN的结构包括一个生成器、一个鉴别器,生成器包括一个Encoder编码器、一个Decoder解码器,Encoder编码器由三层transformers的Encoder block,Decoder解码器包括三层transformers的Decoder block组成,鉴别器包括一个BiLSTM双向长短期记忆网络、一个线性层、一个Sigmoid激活函数;
将中间增强文本向量通过线性Linear层,得到目标增强文本向量;得到目标增强文本向量的过程包括:步骤31:对待增强文本对中的每一个文本进行分词后,通过与少类故障信息也即原始文本进行对比,将待增强文本中每个语块的位置用掩码token序列填补得到更新序列;
步骤32:将更新序列通过基于编码结构的文本语义模型的嵌入层后,输入到生成对抗网络的生成器中,得到伪装文本语义向量;
步骤33:将原始文本通过基于编码结构的文本语义模型的嵌入层后,得到原始文本语义向量;
步骤34:将伪装文本语义向量与原始文本语义向量输入LM‑GAN网络的鉴别器,判断文本向量的真伪性,若伪装文本语义向量被判断为“真”,则将其作为原始文本的增强文本向量,若伪装文本语义向量被判断为“伪”,则使用原始文本语义向量与伪装文本语义向量计算损失训练生成器,使用鉴别器对原始文本语义向量与伪装文本语义向量的鉴别结果与真实标签计算损失训练鉴别器;将目标增强文本向量直接输入基于编码结构的文本语义模型的编码层,并同时将故障信息文本输入基于编码结构的文本语义模型的嵌入层,经由基于编码结构的文本语义模型的编码层,输出故障信息文本语义编码向量;
将所述故障信息文本语义编码向量和所述故障类别文本语义向量输入跨注意力网络中,经由分类器处理,输出变压器故障类别结果向量;所述分类器包括输出Dropout层、线性Linear层和激活sigmoid层;
将变压器故障类别结果向量与多个变压器故障类别文本,构建多标签及标签不平衡自适应损失函数,通过损失训练以得到变压器故障智能识别模型;
多标签及标签不平衡自适应损失函数如下所示:
式中,m代表计算损失时的故障信息文本的样本数量,k代表故障文本中的标签数量,代表第i个故障信息文本的第j个真实标签, 代表第i个故障信息文本的第j个预测标签,ln(·)表示自然对数函数,cos(·)表示余弦函数。
2.根据权利要求1所述的一种基于文本的变压器故障智能识别模型的训练方法,其特征在于,获取变压器故障分类结果的步骤包括:L
步骤41:将故障类别文本语义向量V与权重矩阵Wq相乘得到Q矩阵,将故障文本语义编C码向量V分别与权重矩阵Wk、Wv相乘后得到K、V矩阵;
步骤42:将Q、K、V矩阵输入跨注意力网络,得到交互结果向量OCA;
CA
步骤43:将交互结果向量O 中位置PCLS处的向量抽取出来,按照序列维度拼接后得到向量步骤44:将向量 依次通过Dropout层、Linear层,将隐藏层维度缩放至2,并由Sigmoid函数对隐藏层进行归一化,得到变压器故障类别结果向量O。
3.一种基于文本的变压器故障智能识别模型的训练装置,其用于实现如权利要求1或2所述的基于文本的变压器故障智能识别模型的训练方法,其特征在于,所述装置包括:获取模块,用于获取变压器故障文本数据,所述变压器故障文本数据包括变压器故障信息文本和对应的多个变压器故障类别文本,每个故障类别文本指示一个故障类别标签;
训练模块,用于将故障类别文本输入基于编码结构的文本语义模型,输出故障类别文本语义编码向量;将故障信息文本通过文本标签域筛选法处理为待增强文本,并将处理前的故障信息文本与待增强文本组成待增强文本对;将所述待增强文本对输入基于编码结构的文本语义模型,输出初始增强文本向量对;将初始增强文本向量对输入基于标签域掩码的生成对抗网络进行训练,输出中间增强文本向量;将中间增强文本向量通过线性Linear层,得到目标增强文本向量;将故障信息文本输入基于编码结构的文本语义模型,并同时将目标增强文本向量输入基于编码结构的文本语义模型的编码层,输出故障信息文本语义编码向量;将所述故障信息文本语义编码向量和所述故障类别文本语义向量输入跨注意力网络中,经由分类器处理,输出变压器故障类别结果向量;所述分类器包括输出Dropout层、线性Linear层和激活sigmoid层;将变压器故障类别结果向量与多个变压器故障类别文本,构建多标签及标签不平衡自适应损失函数,通过损失训练以得到变压器故障智能识别模型。