1.一种变电站变压器故障红外图像及声纹识别方法，其特征在于，包括以下步骤：(1)变电设备搭载红外热像仪与振动传感器对变压器进行红外图像数据和声纹波形数据采集；

(2)采用直方图均衡化方法对红外图像进行预处理形成图像集；采用滤波器对采集到的声纹波形去噪形成音频集；

(3)采用改进的PolyViT模型对图像集进行训练；所述改进的PolyViT模型包括引入自注意力机制，用来更好地提取红外图像信息和加快模型训练速度；

(4)基于IEDO算法优化后的Crossformer模型对音频集进行处理；所述IEDO算法为采用拉丁超立方初始化和Levy飞行策略对指数优化器算法EDO进行优化；

(5)通过多模态特征融合的方法把步骤(3)和步骤(4)输出的图像集和音频集合并转为特征向量再通过输出层输出，得到图像与声纹数据信息；

所述步骤(3)实现过程如下：

IMG H×W×3 IMG

视觉转换器ViT通过将输入图像x ∈R 分解为N个非重叠小块x1,…,xN，其中，x为图像集，R为实数集合，H为图片的高度，W为图片的宽度，N＝[H/h]×[W/w]，h和w分别是非H×W×3重叠小块的高度和宽度，x1,…,xN∈R ；

d

每个非重叠小块xi通过嵌入线性算子E投射到令牌序列Zi∈R 中，得到各非重叠小块xid对应的标记Zi，其中，在非重叠小块xi中嵌入线性算子E的公式为Zi＝Exi，i＝1,…,N；R为d维实数向量；

cls

连接各非重叠小块xi对应的标记Zi，并在连接后的标记序列中加入可学习的类标记Zd (N+1)×d 0∈R；可学习的位置向量P∈R 也加入标记序列，得到初始序列，Z＝[Zcls Ex1 … ExN]+P；

在PolyViT模型的编码器结构中，每个编码层都利用前一层编码层的输出作为当前层的输入；通过使用自注意力机制和MLP神经网络，根据前一层输入的转换序列，获取当前编码层相应的转换序列；自注意力机制SELF计算公式为：l l‑1 l‑1

Y＝SELF(LN(Z ))+Z ，i＝1,…,l (3)l

式中，LN表示层归一化，l表示编码器中编码层的层数，Y表示第l层编码层对应的自注意力输出值；

IMG

图像集x ＝[x1,x2,…,xN]，对于每个元素xi，自注意力机制计算一个权重向量Wi，表示该元素对序列中其他元素的重要性：其中，Qi,Ki,Vi是通过计算得到的查询、键和值向量，dk是注意力头的维度，softmax函数确保了注意力权重的归一化；最终，通过每个元素的值向量Vi乘以其对应的注意力权重Wi并求和，得到最终的输出：通过自注意力机制输出结果，之后利用MLP神经网络获取转换序列的公式为：l l l

Z＝MLP(LN(Y))+Y(6)

l

式中，MLP为具有单个隐藏层和GeLU非线性的神经网络，Z为初始序列或转换序列；

在PolyViT模型输出线性头模块中使用偏移量生成与转换序列对应的分类概率向量：式中， IMG表示图像集，j∈{1,…,T}表示输入模块中每个任务的索引，T表示IMG模态下的任务个数，C表示C个类别，Cj表示j索引对应任务的类别， 表示具有可学习类标记的L维转换序列向量， 表示维度为Cj维的实数向量，Wout和bout为输出线性头的可学习参数；

步骤(4)所述Crossformer模型的自注意力公式为：其中， 分别为自我注意模块中的query、key、value， 是常量归一化子； 是RPB矩阵；基于mlp的模块动态地产生相对位置偏差，即：Bi,j＝DPB(Δxij,Δyij)               (9)其中，DPB是非线性变换，由三个带有层归一化和ReLU的完全连通的层组成；

步骤(4)所述采用拉丁超立方初始化和Levy飞行策略对指数优化器算法EDO进行优化实现过程如下：设置指数分布优化器算法相关参数并初始化：种群规模、维度大小、迭代次数和待优化个体的上界与下界；

使用拉丁超立方初始化方法代替元EDO算法中的随机初始化方法，其公式如下：lbj,p＝lbj+(i‑1)*(ubj‑lbj)/n           (10)ubj,p＝lbj+p*(ubj‑lbj)/n             (11)Aj＝RFP(n)                     (12)Xp＝[XP,1]XP,dXP,j                 (13)p＝1,…,n；j＝1,…,d                (15)其中，lbj,i为第p个指导解的第j个维度的下界，ubj,i为第p个指导解的第j个维度的上界，Aj表示第p个指导解所在的子搜索空间，RFP为全排列操作，n表示指导解数量，d表示维度，Xp表示第p个指导解的初始化值，rand为一个取值为[0,1]的随机值；把种群存放在一个矩阵里；

在EDO算法的开发阶段，围绕着指导解来寻找全局最优解；指导解 被转换为一个已排序种群的前三个最佳解的平均值，即：其中，t是当前迭代次数， 是第t代种群最优个体， 是第t代种群的次优个体， 是第t代种群的三代个体；定义一个无记忆位置矩阵Yw，第一代的无记忆矩阵就是原始种群矩阵，即t＝1时，Yw＝Xw；当t≥2时，种群矩阵Xw和无记忆位置矩阵Yw的更新是不一样的；

在开发阶段，第i个个体的位置进行更新公式如下：

其中， 就是无记忆位置矩阵Yw中的第i个个体，φ是在[0,1]中均匀生成的一个随机数；式(16)中涉及的参数，用以下式子进行计算：其中，rand()表示[0,1]之间随机数；由 可知，两个个体之间的标准差σ等于均值μ，定义如下：

在勘探阶段，第i个个体的位置更新采用Levy飞行策略进行全局探测，以提高全局寻优能力，公式如下：其中， 表示第t代的第i个解， 表示点对点乘法，L表示控制步长的权重，xb为当前的最优解，Levy(λ)表示莱维分布的路径， 表示种群的平均位置，即：式(20)中涉及的其他参数和向量，用以下这些式子进行定义：其中，t是当前迭代次数，T表示最大迭代次数，M表示种群的初始位置，r1和r2表示[1,N]之间的随机整数，且r1≠r2；即从种群中随机选择两个不同的个体；

种群更新阶段，设置一个执行参数α，它是[0,1]之间的一个随机数，并设定阈值0.5；在一次迭代中，对每个个体都计算一次α，根据α判断一个个体执行开发还是勘探，即在每一次迭代中，一个个体要么勘探，要么开发：对于种群的更新，要更新两个矩阵：种群矩阵X和无记忆位置矩阵Y，具体操作如下：

2.根据权利要求1所述的一种变电站变压器故障红外图像及声纹识别方法，其特征在于，步骤(2)所述的采用直方图均衡化方法对红外图像进行预处理通过以下公式实现：式中，T(r)表示像素值为r的像素在经过均衡化后的图像中的新像素值；L表示像素的灰度级数；M和N分别表示原始图像的行数和列数； 则表示像素值为ni的像素在原始图像中的数量。

3.根据权利要求1所述的一种变电站变压器故障红外图像及声纹识别方法，其特征在于，步骤(2)所述的采用滤波器对采集到的声纹波形去噪通过以下公式实现：其中，G(x,y)表示高斯函数，(x,y)表示声纹图像中每个像素的坐标，σ表示高斯核的标准差。

4.根据权利要求1所述的一种变电站变压器故障红外图像及声纹识别方法，其特征在于，所述DPB的输入维度为2，中间层的维度设置为D/4，D是嵌入的维度。

5.一种采用如权利要求1至4任一所述方法的变电站变压器故障红外图像及声纹识别系统，其特征在于，包括图像采集模块、声纹采集模块、数据预处理模块、故障检测模块和数据可视化模块；

所述图像采集模块通过搭载红外热像仪对变电站变压器设备运行状态数据信息进行实时采集并生成红外图像；

所述声纹采集模块通过搭载振动传感器对变电站变压器设备运行时发出的声音信息进行实时采集并生成声纹波形；

所述数据预处理模块是采用直方图均衡化方法对红外图像进行预处理，增强图像以提高视觉感知效果；采用滤波器的方法去除采集到的声纹波形中的噪声，实现有用特征的提取；对数据信息进行筛选分析并划分为图像集和音频集；

所述故障检测模块是采用改进的PolyViT模型对图像集进行训练，采用改进的EDO算法优化Crossformer模型对音频集进行训练，后把训练好的图像集和音频集进行多模态融合，得到图像与声纹数据信息；

所述数据可视化模块是把故障检测模块最后的多模态融合结果发送至变电站设备管理系统通过云平台数据可视化实时显示。