利索能及
我要发布
收藏
专利号: 2021109021516
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于卷积准循环神经网络的水泥成品比表面积预测方法,其特征在于:包括以下步骤:

步骤S1:分析水泥磨工艺流程选取与水泥成品比表面积相关的8个输入变量,首先将选择的变量数据按照时间序列排列,其次将数据按照卷积的输入格式进行处理,再将数据进行归一化作为卷积的输入数据;

步骤S2:步骤S1中归一化处理后的数据进行一维卷积及最大池化运算,并按照时间顺序将其重构为时序序列;

步骤S3:卷积后的输出数据作为输入数据送给到准循环神经网络,进行样本训练;首先输入数据依次经过输入门,遗忘门,输出门进行计算,之后通过单元状态,计算出一个最终状态,最后完成准循环神经网络的一次前向传播;

步骤S4:采用基于时间的反向传播算法,反向计算准循环神经网络中每个神经元的误差项,从当前时刻开始,误差项可以沿时间进行反向传播,从当前时刻开始,计算之前每个时刻的误差项,同时,误差项向上一层进行传播,从输入数据以及权重开始,向输出层传递,最后求出预测值并和目标值构成损失函数;在反向传播过程中,采用Adam算法作为网络的优化器,利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习速率,经过多次的学习训练,当误差足够小或者超过最大迭代次数,即可退出循环,完成卷积准循环神经网络模型训练;

步骤S5:步骤S4为准循环神经网络模型的第一层,由于准循环神经网络单元单层预测效果不理想,因此,使用两个准循环神经网络单元进行堆叠,从而得到一个具有近似更复杂函数的能力的模型,之后,利用步骤S4中的训练好的卷积准循环神经网络模型对水泥磨研磨过程中水泥成品质量指标‑比表面积进行在线预测;

步骤S6:通过均方误差MSE、均方根误差RMSE、平均绝对误差MAE,观测模型预测的准确性。

2.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法,其特征在于:所述步骤S1中包括以下步骤:步骤S101:首先分析整个水泥磨的生产工艺,结合现场工程师的经验知识以及水泥比表面积的测量工艺,选取了8个与水泥成品比表面积相关的过程参量作为卷积准循环神经网络模型的输入变量,8个输入变量包括主机电流X1、喂料斗提电流X2、出磨斗提电流X3、选粉机电流X4、选粉机转速X5、循环风机变频反馈X6、喂料量X7和球磨机出口压力X8,充分考虑水泥生产过程的时延和时长,选取对应的一段时间内的水泥比表面积数据作为输出变量,输入变量和输出变量建立数据库,并从水泥磨研磨系统数据库中导出相关变量数据;

步骤S102:为确保相关数据具有普适性、准确性和可靠性,对提取的相关数据进行以下流程:

步骤S1021:首先,由于机器原因或者操作人员自身操作原因,以及其它的外部原因,会出现异常值、缺失值的情况,因此,为了提高本模型预测的准确性,将异常数据进行剔除,并且将缺失值进行填补,主要采用以下3种步骤:步骤S10211:采用人工经验去除法,根据现场工作人员的经验以及结合历史生产数据分布制定的一个大异常数据去除策略,以各参量的期望值为中心,将历史数据中小于0.1倍期望值的数据和大于10倍期望值的数据去除掉;

步骤S10212:在步骤S10211的基础上,水泥磨系统生产过程中各参量的数据记录一般都符合正态分布,因此,使用3σ准则筛选法来再一次进行异常数据的剔除,3σ准则筛选法的公式为:

其中,U(xi)为数据xi的筛选法则, 为该变量数据集合的平均值,xi为输入变量中第i个数据,σi为该变量数据集合的标准差;

当U(xi)=0时,数据xi是异常数据,剔除数据,当U(xi)=1时,数据xi为正常数据,保留数据;

步骤S10213:在步骤S10212的基础上,采用拉伊达准则标记每个变量中的异常值,将每个变量中的缺失值使用该变量的均值代替,拉伊达准则如式所示:|xi‑μ|≥3σ

其中,x代表一个辅助变量,xi代表该辅助变量的第i个值,μ代表该辅助变量的均值,σ代表该辅助变量的标准差;

步骤S1022:由于所选取的变量有些波动较大,为了提高模型收敛速度以及减少数据特征的损失,对数据进行归一化处理;

将输入数据按照卷积准循环神经网络模型所需要的数据格式进行处理,并将数据进行Min‑Max归一化,方便网络对其进行有效的训练,其归一化公式为:其中,x1,x2,...,xn为输入序列,y1,y2,...,yn为归一化后的输出序列, 为输入序列中的最小值, 为输入序列中的最大值;

步骤S103:将归一化后的数据,划分训练集和测试集;

通过步骤S101到步骤S103实现对原始数据的初步处理,使得模型的预测结果更加具有普适性。

3.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法,其特征在于:所述步骤S2中,所述一维卷积及最大池化运算包括以下步骤:步骤S201:一维卷积运算时使用卷积核以平移方式对输入数据进行卷积运算,将卷积核设定为若干个,从而提取输入数据的不同特征信息,通过一维卷积来提取水泥比表面积相关变量数据的特征后的卷积层单元输出值:l

其中, 是卷积层l的第j单元的输出值, 是卷积层l‑1的第j单元的输出值,Mj表示l

选择的输入特征图的集合,kij是第l层的第i个卷积核的权重矩阵,*运算符表示卷积运算,为偏置项,f为激活函数;

步骤S202:对得到的输出数据进行池化,使用最大池化方式对数据进行处理。

4.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法,其特征在于:所述步骤S3中,在单层准循环神经网络单元网络层中,信息的增加和去除由遗忘门、输入门和输出门三种门控制单元同时控制,而准循环神经网络模型需要学习的参数共3组,分别是:激活权重矩阵Wz、输出门权重矩阵Wo以及遗忘门权重矩阵Wf,随机初始化这些权值并开始前向传播,其具体流程:步骤S301:步骤S2的输出数据作为输入数据进行卷积之后,分别得到输出zt,ft,ot,采用滤波宽度为2,即卷积操作在序列维度上跨度为2,则公式为:其中,xt‑1为上一时刻输入向量,xt为当前时刻输入向量,zt为激活向量,ft为遗忘门向量,ot为输出门向量,it为输入门向量, 为上一时刻输入门权重矩阵, 为上一时刻遗忘门权重矩阵, 为上一时刻输出门权重矩阵, 为当前时刻输入门权重矩阵, 为当前时刻遗忘门权重矩阵, 为当前时刻输出门权重矩阵,tanh是双曲正切激活函数,σ是sigmoid激活函数;

使用遮罩卷积获取相应的门控向量,应用具有单独的滤波组的额外卷积来获取池化函数所需的元素门的向量序列,其门控单元的作用:输入时间序列X,即xi=(xi(1),xi(2)...xi(t)),式中xi(i=1,2,...9)为第i个变量的时间序列,分别通过3个卷积层和非线性层得到其卷积分量,其激活函数:Z=tanh(Wz*X)

k×n×m

其中,*为卷积运算,即以k为宽度的序列维度上的窗口滑动,Z为激活函数,Wz是为R大小的卷积滤波器,即激活权重,tanh是双曲正切激活函数;

遗忘门用来判断删除或者保留哪些有用数据,遗忘门公式为:F=σ(Wf*X)

k×n×m

其中,*为卷积运算,即以k为宽度的序列维度上的窗口滑动,F为遗忘门输出,Wf为R大小的卷积滤波器,即遗忘门的权重,σ是sigmoid激活函数;

输入门的作用是用来更新细胞状态,当前的输入信息和上一隐层单元的输出信息同时输入到sigmoid函数和tanh函数中,然后把两个函数的输出值进行乘法运算,运算结果用来更新细胞状态,遗忘门公式为:

I=σ(Wi*X)

k×n×m

其中,*为卷积运算,即以k为宽度的序列维度上的窗口滑动,I为遗忘门输出,Wi为R大小的卷积滤波器,即输入门的权重,σ是sigmoid激活函数;

输出门的作用是用来确定下一个隐藏状态的值,首先先把上一隐层单元的输出信息和当前的输入信息同时输入sigmoid函数,然后把新细胞状态输入tanh函数,最后将这俩函数的输出值做乘法运算,将最后的结果作为当前隐层状态,并和当前的细胞状态输入到下一个隐层单元,输出门公式为:

O=σ(Wo*X)

k×n×m

其中,*为卷积运算,即以k为宽度的序列维度上的窗口滑动,O为输出门输出,Wo为R大小的卷积滤波器,即输出门的权重,σ是sigmoid激活函数;

该单元把上一个隐层的输出信息和当前的输入信息同时输入sigmoid函数来达到控制的目的,sigmoid函数表达式:步骤S302:输入层数据经过卷积核卷积计算后由tanh函数激活,激活后输出的每个神经元中包含一个数据矩阵,作为池化层的输入,选择tanh函数作为激活函数,其公式:步骤S303:采用池化层将得到的特征进行降维,使用池化函数来进一步对卷积操作得到的特征映射结果进行处理,由遗忘门输出结果和输入门输出结果确定细胞记忆值,且初始h,c的状态都为0,公式为:ct=ft⊙ct‑1+(1‑ft)⊙zt其中,⊙表示向量之间的点乘运算,ct为当前状态向量,ct‑1为上一时刻状态向量,ft为遗忘门向量,zt为激活向量;

步骤S304:由所述细胞记忆值和输出门输出结果确定隐含层输出结果,其公式为:ht=ot⊙ct

其中,⊙表示向量之间的点乘运算,ht为当前隐藏状态向量,ot为当前输出状态向量,ct为当前状态向量;

步骤S305:最后将计算出的最终状态,预测值确定单元,用于将所述隐含层输出结果作为输出层的输入,得到各个时刻的水泥成品比表面积预测值为:其中, 为第t时刻的水泥成品比表面积预测值,W为预测输出层权重矩阵,b为预测输出层偏置项,h为隐含层输出结果,σ是sigmoid激活函数;

从上述步骤S301到上述步骤S305完成了准循环神经网络的一次前向传播。

5.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法,其特征在于:所述步骤S4中包括以下流程:步骤S401:误差项分为两个方向进行传播,一个是沿时间进行方向传播,从t时刻起,计算每个时刻的误差项;另一个方向是将误差在空间上向上一层传播,定义损失函数:其中, 和yt分别为t时刻的预测输出值和期望输出;

在t时刻,准循环神经网络的隐藏层输出为ft,定义t时刻的误差项δt为:根据准循环神经网络的计算图以及链式求导法则可知,遗忘门梯度为:式中,L为损失函数;

沿时序进行反向传播公式为:

误差项向上一层传播:设当前层为l,定义l‑1层的误差项是误差函数对l‑1层加权输入时的导数,则有:

l‑1 l‑1

其中,δt 为l‑1层的误差项,L为误差函数,nett 为l‑1层的加权输入;

步骤S402:权重梯度计算:

与权重对应的偏置梯度为:

从上述步骤S401到步骤S402,求出了在t之前的所有时刻损失函数相对于各参数的梯度,下面进行权重的更新;

步骤S403:权重更新,η为模型的学习率,为增加公式的适用性,将公式泛化,W表示网络节点权重,b表示节点对应偏置项,公式为:上述步骤完成一次前向和一次反向传播,循环迭代地更新各个部分,每经过一个时间步,求得误差项,若误差项小于阈值,则进行权重矩阵和偏置项的更新,直到误差小于设定阈值或达到最大训练次数,退出循环。

6.根据权利要求1所述的基于卷积准循环神经网络的水泥成品比表面积预测方法,其特征在于:所述步骤S6中,所述均方误差MSE、均方根误差RMSE以及平均绝对误差MAE公式为:

其中,yi表示比表面积的真实值,y′表示比表面积的预测输出,n表示训练样本数。