利索能及
我要发布
收藏
专利号: 2019104421784
申请人: 湖南农业大学
专利类型:发明专利
专利状态:无效专利
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,包括如下步骤:步骤1:基于超级计算机系统处理器的总核数、用于执行任务的核数和执行任务的时间,建立具有日期与时间二维时间序列特征的超级计算机工作负载模型;

步骤2:设置包括输入门、遗忘门、输出门和存储器在内的二维长短期记忆神经网络Cell结构,神经网络包括输入层、隐含层和输出层,且神经网络前一隐含层向下一隐含层同d‑1,t d,t‑1时传递隐含层日期维计算信息h 和时间维计算信息h ,其中d表示日期、t表示时间;

步骤3:将步骤1中得到的以二维形式表达的工作负载转换为一维数据来进行训练,将训练数据输入至二维长短期记忆神经网络Cell结构的输入门、遗忘门、输出门和存储器中的实现公式为:t (i) t (d‑1,t) (i) (d,t‑1) (i)I=W X+h UD +h UH

t (c) t (d‑1,t) (c) (d,t‑1) (c)G=W X+h UD +h UH

t (f) t (d‑1,t) (f) (d,t‑1) (f)F=W X+h UD +h UH

t (o) t (d‑1,t) (o) (d,t‑1) (o)O=W X+h UD +h UH

t t t t t‑1

C=σ(I)*tanh(G)+σ(F)*Ct t t

h=σ(O)*tanh(C)

t t t t

其中,i、f、o和c分别表示输入门、遗忘门、输出门和存储器,符号I 、F、O 和G分别是输t入门、遗忘门、输出门和存储器在时刻t的输出结果,并由激活函数控制;C 是t时刻状态信t息,h是t时刻输出结果,激活函数采用sigmoid函数,其中激活函数σ为:另一激活函数tanh为

d‑1,t

W、UD、UH分别是输入层到隐含层权重、前一隐含层向下一隐含层传送日期h 的权重、d,t‑1前一隐含层向下一隐含层传送时间h 二维隐含层计算信息的权重,符号C和h分别是二维长短期记忆神经网络Cell结构状态值和隐含层计算值,最后,所有隐含层信息向输出层转t化,产生预测值y,形式表示为:

t (out) t

y=σ(W h)

步骤4:对于t时刻,预测误差E(t)是时刻t和t‑1的系统实际工作负载 与预测值t t‑1y、y 的标准方差,即

步骤5:在误差反向传播阶段中进行参数权重更新,通过利用偏导数的大小来实现误差(out)反向传播,并在每次迭代训练后确定神经网络Cell结构W、UD、UH和隐含层到输出层W 参t数权值,其中隐含层计算值h偏导数相对于t时刻训练误差的偏导为:(out)

这里W 表示隐含层到输出层参数,则二维长短期记忆神经网络预测模型Cell结构的状态量C的偏导为t‑1 t‑1 t

同时,上一时刻t‑1的状态值C 接收来自h 和下一隐含层状态C的梯度,则二维长短t‑1期记忆神经网络误差向隐含层状态C 的反向传播更新为二维LSTM神经网络输出层参数权重通过如下偏导实现计算:其中,α是学习率,表示每次迭代训练成长的速率,则对于LSTM神经网络隐含层的输入门、遗忘门、输出门和存储器,相应参数W、UD、UH的权重值通过以下公式计算:(α) (α) (α)

其中ΔW ,ΔUD ,ΔUH 中的(α)表示i、f、o或c中的一个;

步骤6:检测所有训练数据是否全部训练完毕,如果训练完毕则转步骤7,执行超级计算机工作负载预测;否则转步骤3,继续进行二维长短期记忆神经网络训练;

步骤7:利用训练完毕的二维长短期记忆神经网络进行超级计算机工作负载预测,其数据是前n+1天的t时刻和m+1个时间序列系统工作负载。

2.根据权利要求1所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,所述的步骤1中,用于执行任务的核数和执行任务的时间是分析通过超级计算机系统中的管理日志文件得到的。

3.根据权利要求2所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,所述的步骤1中,分析管理日志文件时,通过分析应用软件执行信息来获得实际执行核数,包括统计用户、应用程序、任务、计算核心、开始时间、完成时间和计算节点,并根据统计结果获得实际执行核数。

4.根据权利要求1所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,所述的步骤1中,超级计算机工作负载为其中,x为超级计算机工作负载,total cores表示超级计算机系统总核数,execution cores表示实际执行核数,建立具有日期与时间二维时间序列特征的超级计算机工作负载d,t模型为x ,其中d表示日期、t表示时间。

5.据权利要求4所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,所述的步骤3中,训练数据为:t d‑n,t d‑1,t d,t d,t‑m d,t‑1 d,tX=[x ,…,x ,x ]Δ[x ,…,x ,x ]t

X是一个具有n+m+2个输入节点,由前n+1天的t时刻和m+1个时间序列超级计算系统工作负载组合而成。