1.一种混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法,其特征在于包括如下步骤:步骤1、数据处理:以一定频率采集工业过程中系统变量的运行数据,建立包含多变量,多类型故障的数据集,并对其进行数据预处理,在此基础上对故障类型进行编号打标签,设置对应的关系,之后对故障类型和标签划分相应的训练集和测试集;
步骤2、构建注意力卷积神经网络故障诊断模型;
步骤3:利用划分好的训练集训练注意力卷积网络模型;
步骤4:将模型性能最好时所提取到的特征输入到XGBoost分类器中拟合提升树;
步骤5:故障诊断:将测试集输入到ACNN‑XGBoost模型中,XGBoost分类器的输出可以反映模型最终的诊断结果;
所述数据预处理是指对数据集进行离差标准化处理(Min‑maxnormalization),具体转换函数如下:式中min(x)和max(x)分别表示数据样本中的最小值和最大值,xi表示样本数据;
所述对故障类型进行编号打标签是指对数据集进行one‑hot编码,使用N位状态寄存器来对N个故障进行编码,每个故障都有各自独立的寄存器位,且在任意时刻,只有其中一位有效;
所述注意力卷积神经网络故障诊断模型由三层卷积神经网络、两个注意力卷积模块以及FC层叠加构成;
所述三层卷积神经网络中每层都与BN层叠加,卷积层对数据进行卷积运算,采用elu激活函数,padding采用same表示填充输入,使得输出与输入具有相同的长度,并使用L2正则化技术;其中卷积层的卷积运算如下式所示:[l] [l] [l‑1] [l]
x =f(W *x +b ) (2)
[l] [l]
式中x 表示第l层的输出,l∈[1,2,…,n],W 表示第l层卷积核,“*”表示卷积运算,b[l]表示第l层对应的偏置,f(·)表示激活函数;
BN层对输入数据进行批归一化操作,使得输出数据的均值0,方差为1;相关操作如下:式中 表示经BN层计算后的输出;yi表示输入的特征值;E表示输入特征值的均值;D表示输入特征值得方差;γ和β表示模型中需要训练的参数;
两个注意力卷积模块在每两次卷积之后添加注意力机制模块;注意力机制模块函数表示如下:C*H*W C*1*1
先设输入特征为F∈R ,CABM依次推断出一维通道权重系数:MC∈R 和一个二维的
1*H*W
空间权重系数:Ms∈R ,整体的公式为:
分别是通道注意力和空间注意力操作,其中 表示对应元素相乘。
2.如权利要求1所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法,其特征在于:所述elu激活函数,其计算公式为:
FC层通过权值矩阵将提取的深层特征进行融合,经Dropout层后,输入到softmax层,并将输出结果与真实标签的交叉熵作为损失函数;
Dropout层以概率p随机丢弃网络中的神经元,加强模型的泛化能力,其具体操作为:式中Bernoulli(p)函数表示以概率p随机生成一个0或1的向量,wi,bi分别表示第i个神l经元的权重和偏置,y 表示第l层的输入,f(·)表示激活函数之后将输出结果输入到Softmax分类层;
Softmax分类层将输入特征进行分类运算,其计算公式如下:式中zi表示第i个输出神经元的输出。
3.如权利要求2所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法,其特征在于:步骤3具体为:将上述划分好的训练集输入到ACNN模型中进行训练,以故障类型标签作为所述模型的输出,将输出标签与真实标签的交叉熵作为损失函数,利用adam优化器进行反向传播,更新整个模型的参数,优化损失函数。
4.如权利要求3所述的混合注意力卷积神经网络与XGBoost算法的工业过程性能评估方法,其特征在于:步骤4具体为:对于给定一个具有n个样本和m个特征的数据集D={(Xi,yi)}(|D|=n,Xim∈R ,yi∈R),提升树模型对样本i通过t迭代后预测其输出 公式如下:m T
式中F={f(x)=wq(x)}(q:R→T,w∈R)为提升树构成的函数空间;q表示将示例映射到相应叶索引的每棵树的结构;T树上叶子的数目;每个fk对应一棵独立树结构q以及权重w;
XGBoost的目标损失函数L主要由正则项Ω和损失函数l所组成,具体为式中yi和 分别为真实值和预测值,γ和λ分别为L1和L2的正则系数,二者共同决定提升树模型的复杂度;
XGBoost算法使用二阶泰勒展开进行近似以便优化损失函数,如下式中 分别是损失函数的一阶和二阶导数;忽略常数项 并将第j个叶子节点样本集Ij={i|q(xi)=j}带入,可以简化为对wj求导计算最优权重
通过计算得到相应的最优目标函数值
通过贪心算法比较分裂增益来选择特征的切分点,设IL和IR是分割后左右节点的集合,则分裂增益值可以用下式表示: