1.基于输入变量选择与LSTM神经网络的动态软测量建模方法,其特征在于包括如下步骤:S1:采集输入、输出数据组成历史训练样本数据库;
S2:对采集的样本数据进行预处理,将采集的数据进行缺失值、异常值处理及数据标准化;
S3:构建和训练LSTM神经网络软测量模型;
S4:MNNG算法设计:基于MIC算法设计自适应约束算子,并将自适应约束算子嵌入NNG算法约束中;
S5:将MNNG算法嵌入LSTM神经网络结构,优化LSTM网络输入权重,删除冗余变量,建立简化的软测量模型;
步骤S3具体包括,
S301:数据集划分,将预处理后的数据前80%作为训练数据集,剩余20%作为测试数据集,用以构建、训练三层LSTM神经网络;
S302:LSTM神经网络模型训练,LSTM神经网络的训练算法为基于时间的反向传播算法,S303:采用网格搜索法对LSTM神经网络超参数进行调优;首先依据先验知识确定不同超参数的候选置信取值,生成待搜索网格;然后采用网格搜索法对LSTM神经网络超参数进行调优,选择最优超参数组合;训练生成初始LSTM神经网络,获得网络初始输入权重 ;
式中式中, 、 、 、 分别代表遗忘门、输入门、输出门与候选细胞状态的输出,W、b分别为各门控单元对应权重矩阵与偏置向量,即网络所需要学习的参数, q表示隐含层节点数,tanh(•)表示双曲正切激活函数,⨀为向量点乘运算;
步骤S4具体包括,
S401:分别计算各输入变量 与输出变量y之间的MIC值 ,S402:构建各输入变量相对于输出变量的重要性因子 ,其计算公式如下所示:其中 为各输入变量 与输出变量y间的MIC值,p为输入变量个数,S403:将重要性因子 作为自适应算子嵌入NNG算法约束,以构建基于MNNG算法的稀疏模型,其计算公式如下式所示:其中 为变量自适应收缩算子,以指导NNG算法对不同输入变量施加不惩罚强度, s为绞杀参数, 为最小二乘系数估计;
步骤S5具体包括,
S501:将MNNG算法的自适应收缩系数 添加到LSTM网络输入权重,建立新的LSTM神经网络表达式:其中各门控单元输出更新为:
式中, 、 、 、 分别代表修改后LSTM网络的遗忘门、输入门、输出门与候选细胞状态的输出, 表示当前时刻的输入, 表示前一时刻的隐藏状态, 、b分别为修改后LSTM各门控单元对应权重矩阵与偏置向量,即网络所需要学习的参数,p与q分别表示网络输入维度与隐含层节点数, 表示sigmoid非线性激活函数,tanh(·)表示双曲正切激活函数,为向量点乘运算,收缩算子 ;
则MNNG‑LSTM算式表示为:
式中,收缩向量 ,s为绞杀参数
S502:MNNG‑LSTM优化表达式求解,对于给定的绞杀参数s,采用MNNG‑LSTM算式获得最优收缩向量 ,获得一组新的预测权重系数:其中 ,对于 ,当 =0时,输入变量 被删除,各门控单元输出更新为:
式中, 、 、 、 分别为优化后LSTM网络的遗忘门、输入门、输出门与候选细胞状态的输出,则优化后的LSTM模型输出变量 表示为:。
2.根据权利要求1所述基于输入变量选择与LSTM神经网络的动态软测量建模方法,其特征在于,步骤S1中,通过机理分析与专家经验,从工业分散控制系统中选取可能对待测变量预测产生影响的重要过程变量作为输入变量,按时间间隔T对其进行连续均匀采样,获得输入输出变量数据集。
3.根据权利要求1或2所述基于输入变量选择与LSTM神经网络的动态软测量建模方法,其特征在于,步骤S2具体包括:
S201:首先对于只含有部分时间点的变量,如果其残缺数据较多,无法补充,将此类变量删除,删除样本中数据全部为恒定值的变量;对于部分数据为空值的变量,空值处用其前后两个数据的平均值代替;
S202:其次根据工艺要求与操作经验,总结出原始数据变量的操作范围,然后采用最大、最小的限幅方法剔除一部分不在此范围的样本,并根据拉依达准则去除异常值;拉依达准则是指先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除,首先对被测变量进行等精度测量,独立获得 , , … , ,求其算术平均值 及剩余误差vi=xi‑ ,i=1, 2, … , n,并计算出标准差σ,若某个测量值xi的剩余误差vi,1 n,若满足下式:则认为该误差属于粗大误差,含有该误差的数据 应予以剔除;
S203:最后将输入、输出变量按z‑score法进行数据标准化。
4.根据权利要求1所述基于输入变量选择与LSTM神经网络的动态软测量建模方法,其特征在于,步骤S302中,具体训练过程主要包括三步:
(1)前向计算:计算各门控单元与LSTM单元的输出值,即 、 、 、 、 、的值,式中,表示当前时刻的输入, 表示前一时刻的隐藏状态,W、b分别为各门控单元对应权重矩阵与偏置向量,即网络所需要学习的参数,p与q分别表示网络输入维度与隐含层节点数, 表示sigmoid非线性激活函数,tanh(·)表示双曲正切激活函数,为向量点乘运算;
(2)反向计算:计算其损失函数值,LSTM模型损失函数为半均方根误差,计算方式如下:,
其中 和 分别为数据样本的实际值与估计值,为数据样本数量,HMSE反映了网络的训练状态,HMSE值越小,证明数据集拟合效果越好;
(3)梯度更新:基于相应误差项,采用Adam优化算法对网络权重进行更新。