1.一种超非线性输入输出系统基于CFF的参数辨识方法,其特征在于,包括以下步骤:S1、设计基于CFF的神经网络参数更新方法;
S2、建立稀疏神经网络模型;
S3、设计用系统误差建模实际噪声的方法;
S4、仿真实验。
2.根据权利要求1所述的一种超非线性输入输出系统基于CFF的参数辨识方法,其特征在于,所述S1神经网络参数更新方法包括单隐层神经网络参数更新和多隐层神经网络参数更新;
(1)单隐层神经网络:
由单隐层神经网络模型分析得到网络隐层任意第j个神经元zj的输出:T
其中,wij、aj分别表示输入层与隐层间的权重和偏置,χ(κ)=[χ1(κ),χ2(κ),…,χn(κ)]T T表示系统输入,z(κ)=[z1(κ),z2(κ),…,zL(κ)]表示隐层输出,w=[w1,w2,…,wL] 表示输入T层到隐层的权重,其中wL=[w1L,w2L,…,wnL];
将输入层到隐层的激活函数用G函数来表示,则式(1)可以被进一步写为:其中,激活函数通常采用sigmoid函数,sigmoid函数通常定义为:在分析隐层到输出层之间的关系时,将输入层到隐层的输出,作为隐层到输出层的输入,因而输出层第m个神经元的输出可表达为:T
其中,βjp、bp分别表示隐层到输出层间的权重和偏置,β=[β1,β2,…,βm] 表示隐层到输T T出层的权重,其中βm=[β1m,β2m,…βLm],y(κ)=[y1(κ),y2(κ),…,ym(κ)]表示系统输出;
结合式(2),网络输出模型式(4)可以进一步改写为:单隐层神经网络参数更新具体为:
1)隐层到输出层的权重参数β更新,对参数β更新时,将β作为状态变量,将参数更新方程建立为满足CFF模型的形式,建模状态方程为:其中,A(κ+1,κ)为状态转移矩阵, 表示随机游走的过程噪声;
结合式(5),建模非线性的测量方程为:其中,ζ(κ)表示随机游走的测量噪声;
结合式(6)‑(7),设计如式(8)‑(9)形式的特征函数滤波器:其中K(κ+1)为待估计的增益矩阵;
2)输入层到隐层的权重参数w更新,将式(7)作为测量向量,将权重参数w作为状态变量,建模权重参数w更新的状态方程为:w(κ+1)=B(κ+1,κ)w(κ)+θ(κ) (10)其中,B(κ+1,κ)为状态转移矩阵,θ(k)表示随机游走的过程噪声;
结合式(7)和(10),设计如式(11)形式的滤波器:其中,K(κ+1)为待估计的增益矩阵;
(2)多隐层神经网络
第一层隐层的输出为:
其中,上标1表示的是多隐层网络的第一层,第二层隐层的输出为:(2)
其中,a 表示的是第一层隐层到第二层隐层的整体权重向量,第r层隐层的输出为:(1) (2) (r)
通过由内到外的逐层求解得到a ,a ,…,a ,逐步得到更新后的参数;
结合式(14),整个多隐层网络模型的输出:(r)
y(κ)=z (κ)·β+b (15)T T
其中β=[β1,β2,…,βm],b=[b1,b2,…,bm];
多隐层神经网络参数更新具体为:
1)输入层到隐层的权重参数β更新,在对网络第u(1≤u≤r)层隐层中的权重参数进行更新时,假设除当前隐层权重参数β外,其它参数都是不变的;将需要被更新的参数作为状(u) (u)态变量进行建模,对第u层隐层的权重参数β 更新时,将β 作为状态变量,结合式(8),设计滤波器为:
2)输入层到隐层的权重参数w更新,在对第u层隐层权重w更新时,假设除当前隐层的参(u) (u)数w外,其它参数都是不变的,对第u层隐层的权重参数w 更新时,将w 作为状态变量,设计如式(17)形式的滤波器:
3.根据权利要求2所述的一种超非线性输入输出系统基于CFF的参数辨识方法,其特征在于,所述S2具体为:在基于梯度下降法的神经网络中,损失函数通常建模为:其中n为样本数。ω,a,β,b分别为输入层到隐层以及隐层到输出层的权重和偏置,但梯度下降法时间复杂度高、收敛慢,结合式(18),在损失函数中添加稀疏约束项,建立了如式(19)所示的稀疏损失函数:其中,式(19)在式(18)的基础上,对网络中需要更新的四个参数都添加了稀疏约束项,λi(λi>0)用来调节稀疏程度的可变参数;
结合式(19),求取梯度方向:
结合式(20),稀疏梯度下降算法迭代过程为:
1)求解损失函数的梯度,其中神经网络模型四个参数的梯度表达式分别为:
2)求取当前位置在梯度方向上下降的距离:其中,η为学习率;
3)如果ωij,aj,βjm,bm都小于某个设定的值ε(0<ε<1),则迭代终止,否则进入步骤4);
4)对参数值进行更新,更新完后再跳转到步骤1),式(23)‑(26)即为基于稀疏梯度下降法得到的更新后的网络参数,用其去建立神经网络模型,得到的即为稀疏神经网络模型;通过引入稀疏约束项的方式,对于不够稀疏的结果可以通过调整λi的大小继续调整其稀疏性,从而能够更好的调节模型精度,以得到好的参数更新结果。
4.根据权利要求3所述的一种超非线性输入输出系统基于CFF的参数辨识方法,其特征在于,所述S3具体为:在神经网络模型中,对参数更新时,都是将需要更新的参数作为状态变量,将其建模成式(27)‑(28)的形式:y(κ+1)=G(χ(κ+1),κ)+ζ(κ+1) (28)其中,A为状态转移矩阵, ζ(κ)为系统噪声,对式(27)‑(28)进行CFF的算法流程,得到其状态估计值 结合式(27),由真实值和滤波估计值计算估计误差:考虑到实际噪声统计特性的难以获取,结合式(29)所示的状态估计误差的统计特性,去建模状态噪声
结合预测误差模型及式(29),计算系统的测量预测误差:用式(30)去对测量噪声ζ(κ)进行建模,用系统误差去建模实际噪声,得到更加真实的滤波结果。