利索能及
我要发布
收藏
专利号: 2023101357509
申请人: 江西财经大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种文档网络主题建模方法,其特征在于,所述方法包括如下步骤:获取文档网络集,并分别确定所述文档网络集中各文档的文档输入表示;

将各文档的文档输入表示输入预训练后的变分邻域编码器进行编码处理,得到各文档的隐藏层表示,并根据所述隐藏层表示确定中心文档的表示;

根据所述中心文档的表示确定文档‑主题分布,并根据所述文档‑主题分布确定主题‑词分布;

所述分别确定所述文档网络集中各文档的文档输入表示采用的公式包括:;

;

;

其中,V表示文档集中词构成的词典, 表示文档 与文档 之间最短路径的长度,为文档 中单词 出现的次数, 是文本向量,为0‑1邻域向量, 是高阶邻域向量,代表单词 在文档 中的权重,表示中心文档;

所述将各文档的文档输入表示输入预训练后的变分邻域编码器进行编码处理之前,还包括:获取各样本文档的样本输入表示,并将各样本文档的样本输入表示输入所述变分邻域编码器进行编码处理,得到样本推断分布参数;

根据所述样本推断分布参数确定样本主题表示,并根据所述样本主题表示对各样本文档进行重构,得到重构文档;

根据所述各样本文档的样本推断分布参数和先验正态分布参数确定先验损失,并根据各样本文档和所述重构文档确定重构损失;

根据所述先验损失和所述重构损失对所述变分邻域编码器进行参数更新,直至所述变分邻域编码器收敛,得到预训练后的所述变分邻域编码器;

所述根据所述各样本文档的样本推断分布参数和先验正态分布参数确定先验损失,并根据各样本文档和所述重构文档确定重构损失采用的公式包括:;

其中, 为各样本文档的邻域文档,为由隐藏主题重新生成的邻域文档, 表示总损失, 表示重构损失, 表示先验损失, 表示权重参数, 为样本文档中的单词, 为重构样本中的单词,KL(·)表示所述样本推断分布参数和先验正态分布参数的KL散度, 和 分别为所述变分邻域编码器中推断网络推断出的推断分布的均值与方差, 和 为所述先验正态分布参数的均值与方差, 为正态分布。

2.如权利要求1所述的文档网络主题建模方法,其特征在于,所述根据所述隐藏层表示确定中心文档的表示,包括:对所述隐藏层表示进行重参数化和注意力机制处理,得到所述中心文档的主题表示;

使用点积注意力机制聚集各文档的邻域文档和所述中心文档的主题表示,得到所述中心文档的表示。

3.如权利要求2所述的文档网络主题建模方法,其特征在于,所述将各文档的文档输入表示输入预训练后的变分邻域编码器进行编码处理,得到各文档的隐藏层表示采用的公式包括:;

其中, 表示激活函数, 均表示所述变分邻域编码器中编码器对应全连接层的训练参数, , , 和 , 表示全体实数空间, 为主题个数, 为词典大小, 表示对数化方差, 表示中心文档的隐藏层表示, 表示从规模与μ和σ相同的多元标准正态分布中随机生成得到的样本表示。

4.如权利要求3所述的文档网络主题建模方法,其特征在于,所述根据所述中心文档的表示确定文档‑主题分布采用的公式包括:;

其中, 表示与中心文档 之间存在路径的邻域文档集合, 表示中心文档的邻域文档, 表示标准对数正态分布, 表示邻域文档对中心文档的影响程度, 为中心文档 与邻域文档 之间的最短路径长度, 为中心文档与邻域文档的关联程度, 为中心文档隐藏层表示的转置, 为邻域文档的隐藏层表示, 为中心文档隐藏层表示与邻域文档隐藏层表示的注意力系数,为文档‑主题分布, 为未归一化的中心文档主题表示, 表示归一化函数。

5.一种变分邻域编码器,其特征在于,应用于权利要求1至4任意一项所述的文档网络主题建模方法,所述变分邻域编码器包括:输入层,用于分别确定文档网络集中各文档的文档输入表示;

编码层,用于对各文档的文档输入表示进行编码处理,得到各文档的隐藏层表示,并对所述隐藏层表示进行重参数化与注意力机制处理,得到中心文档的主题表示;

注意力层,用于使用点积注意力聚集各文档的邻域文档与所述中心文档的主题表示,得到所述中心文档的表示;

解码器,用于根据所述中心文档的表示确定文档‑主题分布,并根据所述文档‑主题分布确定主题‑词分布。

6.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。

7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。