1.基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,包括如下步骤:
S1:将文本数据集表示为词袋模型BOW作为Wasserstein自编码器的输入,对数据集进行预处理;
S2:利用Wasserstein自编码器将数据通过编码器得到主题分布θ;
S3:采用高斯混合分布作为潜在特征的先验分布,生成潜在的向量表示θ′;
S4:以S2步骤得到的主题分布θ进行解码,将其映射到V个单元的输出层获得词汇中单词的概率分布 计算重构损失,并且计算两个分布之间的差异;
S5:迭代,更新模型参数对生成模型进行优化。
2.根据权利要求1所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S1步骤中,在将文本数据集表示为词袋模型BOW时,一个文档中由所有词表示,表示为:
D(W)={w1,w2,...,wD}。
其中,wi表示文档中的第i个词。
3.根据权利要求2所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S2步骤中,主题分布θ的表达公式为:θ=enc(w)。
4.根据权利要求1所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S3步骤具体包括:S31:高斯混合模型通过初始化获得隐变量{z′i},表达公式如下:2
{z′i}~N(μ,σI)
S32:一篇文档假设主题θ′和z′i的关系表达公式如下:θ′={z′i}
其中,θ′为高斯混合分布假设的文档隐含主题分布即潜在的向量,z′i表示假设的文档2
某一主题,μ表示高斯混合分布中平均差,σ表示高斯混合分布中方差,分别由神经网络拟合而成。
5.根据权利要求1‑4任一权利要求所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S4步骤具体包括:S41:将S2步骤所得主题分布θ进行解码获得 表示词汇中单词的概率分布,计算公式如下:
h=βθ+b
其中, 表示第i个单词的概率分布,β是如LDA中的主题词向量的矩阵,b是偏移向量,hi、hj表示某一神经元的输出,h表示线性计算公式。
S42:计算自动编码器的重构损失,所述重构损失为词袋BOW模型w和 之间的负交叉熵,计算公式如下:
S43:MMD在使用m个样本的时候,计算先验分布Pθ与编码器引入的分布Qθ的差异,计算公式如下:
其中,k为核函数,zi,zj分别表示由编码器编码得到的第i个主题和第j个主题,z′i,z′j分别表示由高斯先验分布采样得到的第i个主题和第j个主题。
S44:计算模型总损失loss,用于迭代更新模型参数: