1.一种基于深度学习的混合概率分布参数估计方法,其特征在于:包括以下步骤:
1、数据预处理:
给定一组数据集X,计算数据集中的所有数据样本的均值和方差,然后归一化处理每个(i)数据样本,得到归一化样本X ,i=[1,2,...,N],N为样本总数;
2、混合概率分布的概率密度函数建立:
(i)
混合概率分布的概率密度函数 其中pk(X ,θk)为混合概率分布中第k个分量概率分布的概率密度函数,wk为第k个概率分布在整体分布中占的权重,θk为第k个分量的概率密度函数的参数,k=[1,2,...,K],K为混合分布的分量总数;θ=<θ1,θ2,...,θK>为所有分量的概率密度函数参数构成的总参数向量;
3、混合概率分布参数估计的目标函数建立:建立混合概率分布参数估计的目标函数和下界函数;
4、采用深度学习方法迭代优化下界函数,求解参数θ:
4.1)将参数θ在均值为0,方差为1的标准正态分布中进行采样,作为参数的初始值;
4.2)初始化wk=1/K,初始化误差计数en为0,步数step=1;
4.3)定义隐变量Z为N行K列的二维矩阵,计算Z值;
4.4)根据Z值计算wk,根据Z值和wk计算Q函数,根据Q函数计算得到θ’;
4.5)令误差e=|θ‑θ’|,若误差e小于0.001,则令en=en+1,否则令en=0;
4.6)令θ=θ’,若en>误差终止条件,则输出参数θ;否则,执行步骤4.7);
4.7)令step=step+1,若step>最大步数,则输出参数θ;否则执行步骤4.3)。
2.根据权利要求1所述的一种基于深度学习的混合概率分布参数估计方法,其特征在(1) (2) (N) (i)于:步骤1中,数据集X={x ,x ,......,x };其中x 为第i个数据样本,i=[1,2,...,(i) (i)N],N为样本总数,每一个x 表示为一个P维向量,即x =
3.根据权利要求2所述的一种基于深度学习的混合概率分布参数估计方法,其特征在于:步骤1中,数据样本的均值 数据样本的标准差
4.根据权利要求3所述的一种基于深度学习的混合概率分布参数估计方法,其特征在(i)于:步骤1中,归一化样本X =<(xi1‑u1)/σ1,(xi2‑u2)/σ2,...,(xiP‑uP)/σP>。
5.根据权利要求1所述的一种基于深度学习的混合概率分布参数估计方法,其特征在于:步骤3中,目标函数 下界函数
6.根据权利要求1所述的一种基于深度学习的混合概率分布参数估计方法,其特征在于:步骤4的求解参数θ之前,还包括预定义超参数,超参数包括:数据批量个数batch_size、执行轮数num_epochs、学习率lr、误差终止条件em和最大步数maxstep。
7.根据权利要求6所述的一种基于深度学习的混合概率分布参数估计方法,其特征在于:batch_size为512‑4096,缺省值为2048;num_epochs为20‑100,缺省值为30;lr为1e‑3;
em为5,maxstep为100。
8.根据权利要求5所述的一种基于深度学习的混合概率分布参数估计方法,其特征在于:4.3)具体为:
4.3.1)输入全部数据集X;
4.3.2)隐变量Z的所有元素初始化为0;
4.3.3)令i=1;
(i)
4.3.4)取得数据集X中的第i条数据X ;
4.3.5)令sum_Zi=0;
4.3.6)令k=1;
(i)
4.3.7)Z[i,k]=wk*pk(X ,θk);
4.3.8)sum_Zi=sum_Zi+Z[i,k];
4.3.9)令k=k+1,如果k>K,则执行步骤5.3.10),否则执行步骤5.3.7);
4.3.10)令k=1;
4.3.11)令Z[i,k]=Z[i,k]/sum_Zi;
4.3.12)令k=k+1,如果k>K,则执行步骤4.3.13),否则执行步骤4.3.11);
4.3.13)令i=i+1,如果i>N,则Z[i,k]计算完毕,并执行步骤4.4),否则执行步骤
4.3.4)。
9.根据权利要求5所述的一种基于深度学习的混合概率分布参数估计方法,其特征在于:4.4)具体为:
4.4.1)定义θ’=θ,令B=N/batch_size,将数据集分成B批,每批的数据量为batch_size,将数据集的每条数据随机分批;
4.4.2)令epoch=1;
4.4.3)令b=1,令X[b]为第b批数据,X[b,i]为第b批数据中的第i条数据,且该条数据在原数据集中的序号是idxi;
4.4.4)计算下界函数Q函数;
4.4.5)在Q函数的负数函数‑Q上对参数θ’进行求梯度并反向传播处理,其中反向传播的优化器采用Nadam方法,优化步长采用学习率为1e‑3,反向传播后θ’被Nadam优化器更新,得到θ’;
4.4.6)令b=b+1,若b>B,则执行步骤4.4.7),否则执行步骤4.4.4);
4.4.7)令epoch=epoch+1,若epoch>num_epochs,则执行步骤4.4.8),否则跳到
4.4.3)。
4.4.8)令