欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021109190853
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于联邦学习双向GRU资源需求预测的VNF迁移方法,其特征在于,该方法具体包括以下步骤:

S1:在网络切片场景下,考虑时变网络流量引起的VNF迁移问题和对VNF的资源需求缺乏预测引起的VNF迁移时延问题,采用FedBi‑GRU算法预测VNF的资源需求;其中,FedBi‑GRU表示基于联邦学习的双向门控循环单元网络,VNF表示虚拟网络功能;

S2:根据步骤S1得到的资源需求预测结果,计算物理节点的资源利用率,判定网络系统中资源使用过载或者资源使用轻载的物理节点,通过VNF迁移,在保证网络性能的同时实现系统能耗优化和负载均衡;

S3:采用分布式近端策略优化的深度强化学习方法得到VNF迁移的最优决策。

2.根据权利要求1所述的VNF迁移方法,其特征在于,步骤S1中,所述网络切片场景包括三层架构:物理基础设施层提供系统的物理资源,由多个物理节点组成;虚拟化层将物理资源抽象成虚拟资源,为切片层提供资源支撑;网络切片层用来处理用户网络业务,由一系列VNF按既定顺序排列而成的SFC处理;其中,SFC表示服务功能链;

所述VNF迁移问题是为VNF选择重映射的物理节点;

所述VNF的资源需求为VNF在未来时刻所需的CPU、存储和带宽资源。

3.根据权利要求1所述的VNF迁移方法,其特征在于,步骤S1中,所述FedBi‑GRU算法为SFC上的VNF在各自部署的物理节点上进行本地的Bi‑GRU资源需求预测模型训练,并在SDN控制器处进行预测模型参数的聚合平均后下发给各个VNF继续模型训练,其中Bi‑GRU表示双向门控循环单元,SDN表示软件定义网络;具体包括以下步骤:S11:SDN控制器下发初始全局参数;

S12:SFC上的各个VNF接收初始参数进行本地的Bi‑GRU资源需求预测模型训练;

S13:SFC上的各个VNF上传本地Bi‑GRU资源需求预测模型的参数;

S14:SDN控制器将所收集参数进行联邦平均后得到新的全局参数;

S15:SFC上的VNF接收新的全局参数继续训练Bi‑GRU资源需求预测模型;

S16:重复步骤S11~S15,直到SFC上所有VNF的Bi‑GRU资源需求预测模型收敛。

4.根据权利要求1所述的VNF迁移方法,其特征在于,步骤S2中,所述物理节点的资源利用率为物理节点上所有VNF的CPU资源需求之和与物理节点的CPU容量的比值;

所述资源使用过载或者资源使用轻载的物理节点为物理节点的资源利用率高于物理节点的最高CPU资源使用阈值或者低于最低CPU资源使用阈值;

所述网络性能为满足用户的网络服务质量。

5.根据权利要求1所述的VNF迁移方法,其特征在于,步骤S2中,所述系统能耗优化为最小化VNF迁移后的网络系统能耗,网络系统能耗包括底层物理节点的运行状态能耗和状态切换能耗;所述运行状态能耗包括物理节点能够运行的基础能耗和节点的负载能耗,负载能耗与CPU资源利用率成正比,物理节点在时刻t的运行能耗表示为:其中,Zn(t)表示物理节点n是否开启的二进制变量,只要有VNF映射到物理节点n上,物理节点n保持开启状态,此时Zn(t)=1,否则该物理节点进入休眠状态,则Zn(t)=0;设 为物理节点n运行的基础能耗, 为物理节点CPU资源被占满的能耗; 为物理节点n在时刻t的CPU资源利用率,表示为:其中, 表示时刻t第i条SFC中的VNF j是否映射到物理节点n的二进制变量,表示VNF j映射到物理节点n上;F为一组SFC的集合, 为第i条SFC上所有VNF集合;

Cn表示节点n拥有的计算资源;

设Sn(t)表示物理节点n在时刻t工作状态发生变化的二进制变量,若Sn(t)=1则表示物理节点n的工作状态发生了变化,Sn(t)表示如下:则节点n在时刻t工作状态发生变化产生的切换能耗表示为 因此,当VNF从物理节点n迁移到物理节点m,整个网络系统的能耗表示为:P

其中,N为底层物理节点集合。

6.根据权利要求1所述的VNF迁移方法,其特征在于,步骤S2中,所述负载均衡为最小化网络资源方差,网络资源方差为网络系统所有物理节点CPU、存储资源利用率的方差;

假设在时刻t,SFC i上的VNF j触发迁移条件,则VNF j由物理节点n迁移到物理节点m后,会引起物理节点m的负载变化,物理节点m的负载在时刻t表示为:其中, 和 分别表示时刻t物理节点m的CPU和存储资源负载; 表示第i条SFC中的VNF j是否映射到物理节点n的二进制变量, 表示VNF j映射到物理节点n上;

分别表示时刻t第i条SFC上的第j个VNF的计算资源需求和存储资源需求,为第i条SFC上所有VNF集合;在时刻t整个网络系统的CPU均值 存储负载均值表示如下:

P

其中,N为底层物理节点集合,Cm和Mm表示物理节点m拥有的CPU和存储资源;

整个网络系统的CPU和存储资源方差表示为:整个网络系统的资源方差表示为:

7.根据权利要求1所述的VNF迁移方法,其特征在于,步骤S3中,所述分布式近端策略优化的深度强化学习方法具体包括以下步骤:S31:将一条SFC作为一个智能体,各个智能体被放置在不同的线程中独立同步进行PPO算法训练得到不同的PPO网络参数;其中PPO表示近端策略优化;

S32:每个智能体定期向全局PPO网络推送损失函数梯度;

S33:全局PPO网络通过收集各个智能体的梯度,梯度累计到全局网络更新频率次数时,全局网络利用梯度下降方式更新全局网络参数,全局网络参数更新方式为异步更新;

S34:将全局网络所得参数推送至每个智能体,智能体将所得参数与切片网络系统交互更新梯度,并推送至全局网络更新全局网络参数,反复进行,直到DPPO算法收敛;其中DPPO表示分布式近端策略优化。

8.根据权利要求1所述的VNF迁移方法,其特征在于,步骤S3中,所述VNF迁移的最优决策为利用DPPO算法找到系统能耗和网络资源方差同时达到近似最小的VNF映射策略。

9.根据权利要求7所述的VNF迁移方法,其特征在于,步骤S31中,对于智能体n来说,其PPO网络更新方式为:

智能体n的损失函数为:

其中,rn(t)为瞬时奖励,γv∈[0,1]为折扣因子,T为一轮训练中的迭代步长,sn(T)表示在迭代步长为T时智能体n的工作状态,V(sn(T+1))表示智能体n在工作状态为sn(T+1)的状态值函数;

智能体n本地PPO网络的Actor网络损失函数为:其中, 为新旧映射策略的比率,A(sn(t),an(t))为优势函数,an(t)表示智能体n在t时刻采取的VNF映射动作,Et[·]表示t时刻的期望函数,σ表示PPO网络的超参数, 表示智能体n的Actor网络参数。

10.根据权利要求9所述的VNF迁移方法,其特征在于,步骤S32中,采用智能体n的损失函数 更新全局PPO网络的Critic网络梯度,全局Critic网络梯度Δθc和参数θc更新方式为:

θc=θc+εcΔθc

其中,εc为Critic网络的学习率;

全局Actor网络的梯度Δθa和参数θa的更新方式为:θa=θaa+εaΔθa

其中,εa为Actor网络的学习率。