1.一种基于改进Transformer模型的水泵设备剩余使用寿命预测方法,其特征在于,包括以下步骤:S1、采集不同时刻的传感器测量特征和水泵设备剩余使用寿命组成数据集S,对数据集1
S进行预处理得到数据集S,数据集S表示为{Si|Si=(t,x1,x2,…,xk,r),1≤i≤n},其中Si表示第i个数据,t表示采集时间、x1,x2,…,xk表示第1个至第k个传感器测量特征,r表示剩余使用寿命,k表示传感器测量特征的个数,n为数据集S的大小;
1
S2、将数据集S按比例划分为训练集T和验证集V;
1
S3、对数据集S使用滑动窗口构建输入向量,输入向量为向量Finput和向量Foutput;
S4、对向量Finput和向量Foutput分别进行编码以得到对应向量 和向量S5、对向量 和向量 分别进行第一层多头自注意力机制处理后输入到Transformer模型的残差网络和全连接层以得到对应输出向量 和向量S6、将向量 和向量 同时进行第二层多头注意力机制处理后得到向量然后向量 输入到Transformer模型的残差网络和全连接层得到最终的输出结果Fout;
S7、通过非对称损失函数计算输出结果Fout的损失值,输出结果Fout的输入向量来自训练集T时反向传播更新模型参数,输出结果Fout的输入向量来自验证集V时记录损失值;
S8、重复执行S3至S7对Transformer模型进行训练,对验证集V中每个滑动窗口记录的损失值并求取平均值作为该轮训练的损失值,对模型进行n轮训练,将损失值最小的Transformer模型参数作为最优的Transformer模型参数保存;
S9、获得水泵设备的传感器的检测值,得到维度为(l‑1)×(m+2)的向量,输入Transformer模型得到剩余使用寿命r;
所述步骤S5中,对向量 和向量 分别进行第一层多头自注意力机制处理后输入到Transformer模型的残差网络和全连接层以得到对应输出向量 和向量的步骤如下:
S5.1、将向量 进行多头自注意力机制处理,首先将向量 分别赋值给Q、K、V,然后将Q、K、V划分为8个自注意力得到Qt、Kt、Vt,其中1≤t≤8,向量 的维度由(l‑1)×512调整为8×(l‑1)×64,分别对Qt、Kt、Vt使用度量公式: 进行计算,其中qi∈Qt,kj∈Kt,1≤i、j≤l‑1,计算的M(qi,Kt)的值降序排列并选择排列在前的(l‑1)/2个值,值的个数向下取整,在Qt中筛选出的qi,qi表述Qt中的第i行数据,使用注意力公式: 计算注意力值,对Vt按行均值化,在行均值化后的Vt中对筛选出的qi的位置索引,并将该位置索引处的数据替换为计算的注意力值以得到Ft,将8个Ft通过矩阵拼接得到维度为(l‑1)×512的向量Fatt;
S5.2、将向量Fatt输入到Transformer模型的残差网络和全连接层得到向量S5.3、使用多头自注意力机制处理向量 其中M(qi,Kt)的值降序排列并选择排列靠前的(l+1)/4个值,并将处理后的向量输入到Transformer模型的残差网络和全连接层得到向量所述步骤S6中,包括以下步骤:
S6.1、向量 赋值给Q,向量 赋值给,向量Q、K和V拆分为8个注意力块后分别计算注意力,将8个注意力块矩阵拼接为向量S6.2、将向量 输入到Transformer模型的残差网络和全连接层得到向量Fout,向量Fout维度为
2.如权利要求1所述的一种基于改进Transformer模型的水泵设备剩余使用寿命预测方法,其特征在于,所述步骤S1中,预处理步骤包括:S1.1、去除无效的传感器特征,计算每个传感器特征的标准差,去除数据标准差小于预设标1
准差的传感器特征,得到数据集S 表示为 其
中m≤k;
1
S1.2、对数据集S 进行标准化处理,包括时间特征t标准化和数据特征x1,x2,…,xm,r标准化,时间特征t标准化是将时间特征t转化为数值分布在[‑0.5,0.5]区间内的特征向量,维度由n×1转化为n×a,其中a是转换后的时间特征t的长度,数据特征x1,x2,…,xm,r标准化是通过公式 得到均值为0、标准差为1和维度为n×(m+1)的标准化向量,最后将时间特征t的向量和数据特征x1,x2,…,xm,r的向量通过矩阵1
拼接得到维度为n×(a+m+1)的数据集S,其中μ1,μ2,…μm,μr和σ1,σ2,…σm,σr分别是数据集1
S中数据特征x1,x2,…xm,r的平均值和标准差。
3.如权利要求2所述的一种基于改进Transformer模型的水泵设备剩余使用寿命预测方法,其特征在于,所述步骤S3中通过滑动窗口构建输入向量的方式为:滑动窗口选取的特征向量维度为l×(a+m+1),滑动窗口的长度为l,步长为1,从当前滑动窗口中取前l‑1条数据作为向量Finput,向量Finput的维度为(l‑1)×(a+m+1),取后 条数据作为向量Foutput,向量Foutput的维度为
4.如权利要求1所述的一种基于改进Transformer模型的水泵设备剩余使用寿命预测方法,其特征在于,所述步骤S4中,编码的步骤包括:S4.1、对向量Finput的数据特征x1,x2,…,xm,r进行值编码,通过卷积核为3的一维卷积运算将向量Finput的维度由(l‑1)×(m+1)提升至(l‑1)×512,得到值矩阵Av;
S4.2、对向量Finput的数据特征x1,x2,…,xm,r进行位置编码,通过公式或 计算得到维度为(l‑1)×512的位置矩阵Ap,其中0≤j<256;
S4.3、对向量Finput的时间特征t进行时间编码,通过全连接层将时间特征t维度由(l‑1)×a提升至(l‑1)×512,得到时间矩阵At;
S4.4、将值矩阵Av、位置矩阵Ap和时间矩阵At相加得到向量 向量 的维度为(l‑1)×512;
S4.5、对向量Foutput的最后一行的x1,x2,…,xm,r特征设置为0遮挡,计算向量Foutput的值矩阵Av、位置矩阵Ap、时间矩阵At并相加得到向量 的维度为
5.如权利要求1所述的一种基于改进Transformer模型的水泵设备剩余使用寿命预测方法,其特征在于,所述步骤S7中损失值计算过程为:Fout最后一行数据记为预测值Fpred,向量Foutput的最后一行数据记为真实值Ftrue,通过非对称损失函数Loss计算损失值。
6.如权利要求5所述的一种基于改进Transformer模型的水泵设备剩余使用寿命预测方法,其特征在于,所述非对称损失函数Loss为:其中 Yj∈Ftrue。