1.一种基于时序图注意力网络的学术研究主题趋势预测方法,其特征在于,包括如下步骤:步骤1,采集多个论文的元数据,包括论文标题、摘要、关键词、发表日期和引文数量,并对元数据进行预处理;
步骤2,将预处理之后的元数据以关键词作为学术研究主题构造数据集,将数据集按照时间先后顺序划分为训练数据集和测试数据集;
步骤3,构建时序图注意力网络模型,并在训练数据集上进行训练和优化模型参数;时序图注意力网络模型包括依次设置的时序卷积模块、多头图注意力模块以及预测输出模块;
步骤4,将测试数据集输入到训练后的时序图注意力网络模型,得到学术研究主题趋势预测的结果;
构建时序图注意力网络模型,并在训练数据集上进行训练和优化模型参数包括:将训练数据集中的数据输入至时序卷积模块,得到学术研究主题自身的时序特征, 表示时间步 的特征,表示为:,
式中, 表示时间步 的特征,为批大小,为观测时间步数,为节点数,为特征数,为卷积核的大小,为膨胀系数, 为第 个卷积核的权重, 表示时间步的特征;
将时序特征 输入至多头图注意力模块,得到学术研究主题之间的关联特征;
将关联特征 输入至预测输出模块,得到特征矩阵 ;其中预测输出模块包括依次设置的第一全连接层、ReLU激活函数层和第二全连接层。
2.根据权利要求1所述的一种基于时序图注意力网络的学术研究主题趋势预测方法,其特征在于,将预处理之后的元数据以关键词作为学术研究主题构造数据集包括:以学术研究主题作为节点,以不同学术研究主题共同出现在一篇论文中的次数作为连接节点的边的权重,将所有边的权重存储在一个邻接矩阵 中,将邻接矩阵 记为图结构;其中 为节点数;
统计每个学术研究主题在每一年中发表论文的引文数量并存储在一个序列矩阵中,为总时间步数,序列矩阵的每一列代表一个学术研究主题,每一行代表一个年份,将序列矩阵 记为时间序列;
将图结构和时间序列构成数据集。
3.根据权利要求2所述的一种基于时序图注意力网络的学术研究主题趋势预测方法,其特征在于,将时序特征 输入至多头图注意力模块,得到学术研究主题之间的关联特征包括:将时序特征 经过缩放点积注意力操作,计算得到每个注意力头的注意力分数,计算公式为:,
式中, 为注意力分数, 和 分别为查询和
键的线性变换矩阵, 为缩放因子, 为隐藏层特征维度,表示矩阵转置操作;
在得到注意力分数后,根据邻接矩阵 对注意力分数 进行掩盖处理,计算公式为:,
式中, 表示注意力分数最后两维中第行第 列的值, 表示邻接矩阵中第 行第 列的值;
聚合每个注意力头的邻居节点特征,得到关联特征 ,计算公式如下:,
式中, 为注意力头数, 、 分别为第 个注意力头的值的线性变换矩阵和偏置矩阵, 函数用于对注意力分数进行归一化处理, 表示第个注意力头计算得到的注意力分数。
4.根据权利要求1所述的一种基于时序图注意力网络的学术研究主题趋势预测方法,其特征在于,将数据集按照时间先后顺序划分为训练数据集和测试数据集包括:设置时间步长为 的观测窗口和时间步长为 的预测窗口,代表用过去 年的历史信息预测未来 年的趋势,前后邻接在时间序列上沿着时间顺序滑动,将观测窗口内的值作为特征得到特征矩阵 ,将预测窗口内的值作为标签得到标签矩阵 ;
按照比例将特征标签对按照先后顺序划分为训练数据集和测试数据集。
5.根据权利要求1所述的一种基于时序图注意力网络的学术研究主题趋势预测方法,其特征在于,并对元数据进行预处理包括去除空值项、纯文本格式转换以及去除标点符号。