1.一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:其包括以下步骤:(1)对原始历史时间序列数据,按照时间顺序进行排序,对缺失数据用0值填补,得到初步整理好的历史数据;
(2)对所述初步整理好的历史数据进行异常值检测处理,把检测出的异常值用0值替换;
(3)对异常值检测处理之后的历史数据进行异常值校正处理,即对数据中的0值进行填补,完成历史时间序列数据异常值检测和校正;
(4)对实时数据进行异常值检测;
(5)根据步骤(4)得到的异常值检测结果,对实时数据进行异常值校正。
2.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:步骤(2)对初步整理好的历史数据进行异常值检测处理,包括如下步骤:(2.1)通过中位数法对所述初步整理好的历史数据进行初步检测;
(2.2)通过EEMD法对所述初步检测之后的历史数据进行精细检测。
3.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(3)对异常值检测处理之后的历史数据进行异常值校正处理,采用局部曲线拟合法实现;所述步骤(4)对实时数据进行异常值检测,采用人工神经网络实现。
4.根据权利要求2所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述通过中位数法对所述初步整理好的历史数据进行初步检测,具体为:(4.1)对于初步整理后的时间序列数据{ai},i=1,2,3,…,,把{ai}中的正数选出来构成一个新的数列 把 的中位数记为(4.2)计算 中每个数与中位数的比值 即
(4.3)设定 的阈值为r1,r2,若 或者 则 为异常值,把异常值替换为
0,时间序列数据{ai}经过替换后得到的数列为{bi},从而完成对所述初步整理好的历史数据进行初步检测。
5.根据权利要求2所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述通过EEMD法对所述初步检测之后的历史数据进行精细检测,具体为:(5.1)将数列{bi}中的正数选出来构成一个新的数列
(5.2)通过EEMD法对 进行分解,得到频率从高到低排列的n个分量;
(5.3)n个分量中,舍去高频分量,把后面m个低频分量以向量求和的方式进行求和,得到一个新的数列 其中,1
(5.4)计算偏差比率 用于量化 与 的偏离程度;
(5.5)设定偏差比率 的阈值为d0,偏差比率 大于d0的数据为异常值,再把异常值替换为0,把{bi}经过异常值替换得到的数列记为{gi},从而完成对所述初步检测之后的数据进行精细检测。
6.根据权利要求3所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述采用局部曲线拟合法,具体为:(6.1)对于每一段0值,包括单个0值或者是连续多个0值,前后端各选取一段序列,构成一个子序列{hi};
(6.2)对{hi}进行曲线拟合:把{hi}中的正数选出来,得到一组样本点 i+表示{hi}中出现正数的位置,采用多项式对样本点 进行曲线拟合,得到的多项式记为f(x);
(6.3)用曲线拟合值 替换{hi}中的0值,i0表示{hi}中0值的位置,得到异常值校正后的时间序列数据{ki},i=1,2,3,…,t。
7.根据权利要求3所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述通过人工神经网络对实时数据进行异常值检测,具体为:(7.1)应用人工神经网络对时间序列{k1,k2,…,kt}预测第t+1天的值ut+1;
(7.2)计算实时上报的监测数据at+1与预测值ut+1的相对误差wt+1;
(7.3)设定wt+1的阈值为w0,若相对误差wt+1>w0,则认为实时上报的监测数据at+1属于异常值,用预测值ut+1替换at+1;若相对误差wt+1≤w0,则认为实时上报的监测数据at+1属于正常值,保留;
(7.4)对第t+1天获得的实时监测数据at+1经过异常值检测和校正得到的正常值,记为kt+1,并把kt+1拼接到序列{k1,k2,…,kt}的后面组成新的序列{k1,k2,…,kt,kt+1};
(7.5)采用神经网络,根据序列{k1,k2,…,kt,kt+1}预测第t+2天的值ut+2,与第t+2天实时上报的监测数据at+2进行对比以检测是否异常并校正,以此类推,对每一天实时上报的数据都进行检测,经过检测并校正后的数据作为历史数据存储,为下一天的预测做准备。
8.根据权利要求5所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.1)将数列{bi}中的正数选出来构成一个新的数列 时,每个正数之间的排列顺序不变。
9.根据权利要求5所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.2)中,n个分量中包括n-1个IMF和1个残余项rn。
10.根据权利要求5所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.3)中,m值的确定采用如下步骤:(10.1)计算每个IMFi(t)的增长率zi(t),i=1,2,…,(n-1);
(10.2)计算每个IMFi(t)增长率的最大值hi=max(zi(t)),i=1,2,…,(n-1),得到数组[h1,h2,…,hn-1];
(10.3)从[h1,h2,…,hn-1]中找到hw,分两种情况:当[h1,h2,…,hn-1]不是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个极小值;
当[h1,h2,…,hn-1]是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个满足小于预设阈值λ的数;
hw所对应的位置w,有m=n-w+1。
11.根据权利要求5所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.4)中,偏差比率
12.根据权利要求10所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:预设阈值λ=0.15。
13.根据权利要求10所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(10.1)中,增长率zi(t)通过如下方式计算得到:
14.根据权利要求7所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(7.3)中,相对误差