利索能及
我要发布
收藏
专利号: 2021114823752
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,包括如下步骤:

S1:将文本数据集表示为词袋模型BOW作为Wasserstein自编码器的输入,对数据集进行预处理;

S2:利用Wasserstein自编码器将数据通过编码器得到主题分布θ;

S3:采用高斯混合分布作为潜在特征的先验分布,生成潜在的向量表示θ′;

S4:以S2步骤得到的主题分布θ进行解码,将其映射到V个单元的输出层获得词汇中单词的概率分布 计算重构损失,并且计算两个分布之间的差异;

S5:迭代,更新模型参数对生成模型进行优化。

2.根据权利要求1所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S1步骤中,在将文本数据集表示为词袋模型BOW时,一个文档中由所有词表示,表示为:

D(W)={w1,w2,...,wD}。

其中,wi表示文档中的第i个词。

3.根据权利要求2所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S2步骤中,主题分布θ的表达公式为:θ=enc(w)。

4.根据权利要求1所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S3步骤具体包括:S31:高斯混合模型通过初始化获得隐变量{z′i},表达公式如下:2

{z′i}~N(μ,σI)

S32:一篇文档假设主题θ′和z′i的关系表达公式如下:θ′={z′i}

其中,θ′为高斯混合分布假设的文档隐含主题分布即潜在的向量,z′i表示假设的文档2

某一主题,μ表示高斯混合分布中平均差,σ表示高斯混合分布中方差,分别由神经网络拟合而成。

5.根据权利要求1‑4任一权利要求所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法,其特征在于,所述S4步骤具体包括:S41:将S2步骤所得主题分布θ进行解码获得 表示词汇中单词的概率分布,计算公式如下:

h=βθ+b

其中, 表示第i个单词的概率分布,β是如LDA中的主题词向量的矩阵,b是偏移向量,hi、hj表示某一神经元的输出,h表示线性计算公式。

S42:计算自动编码器的重构损失,所述重构损失为词袋BOW模型w和 之间的负交叉熵,计算公式如下:

S43:MMD在使用m个样本的时候,计算先验分布Pθ与编码器引入的分布Qθ的差异,计算公式如下:

其中,k为核函数,zi,zj分别表示由编码器编码得到的第i个主题和第j个主题,z′i,z′j分别表示由高斯先验分布采样得到的第i个主题和第j个主题。

S44:计算模型总损失loss,用于迭代更新模型参数: