1.一种基于环境感知的服务功能链低成本智能部署方法,其特征在于:该方法包括以下步骤:
S1:以用户无线端可达的无线速率作为SFC资源分配的依据,联合考虑SFC部署与无线子载波分配,建立在用户时延要求、无线速率需求以及资源约束下的SFC部署成本最小化模型;
网络模型由分布式核心网高性能通用服务器、物理链路和SBS组成,SBS表示小基站;
网络模型由G=(N,E)表示,其中N={n1,n2,...}为物理节点集合,用Nr={r1,r2,...}表示无线接入网中SBS集合,有 E={(ni,nj)|ni,nj∈N,Bi,j>0}为物理链路集合;用C1×|N|=[c1,c2,...]表示物理节点计算资源容量,其中ci为物理节点ni的计算资源容量;用B|N|×|N|=[Bi,j]表示物理节点的关联矩阵,其元素Bi,j表示节点ni和nj间的链路带宽容量;用0
表示SBS的子载波资源向量,其中Wi表示SBS ri的子载波个数;
服务请求集合用F={1,2,...,f,...}表示,一个SFC请求为一个五元组f=<sfcf,Loadf,rf,Delayf,Cf>,其中sfcf表示f的SFC逻辑链路,Loadf表示f的负载,单位为Mbit,rf表示发起该服务请求的用户所关联的SBS,Delayf表示f的时延要求,Cf表示f的无线速率要求;
需要的部署变量包括每个时隙的VNF部署变量及其计算资源分配、链路映射变量及其带宽分配、以及无线接入网子载波资源分配,其中,VNF计算资源分配和链路带宽资源分配由环境感知决定,链路映射由Dijkstra算法确定,子载波分配和VNF部署变量由DDPG算法决定;
用户的信干噪比γi,f(t)由观测到的信号强度以及SBS平均分配的功率得到,通过DDPGf
算法为每个用户分配子载波资源Wi,f(t),则可得到该用户可达的无线速率:C (t)=Wi,f(t)B·log2(1+γi,f(t)),其中B为单个子载波带宽;SFC部署成本由无线子载波成本costw(t)、物理节点计算资源成本costc(t)以及链路带宽资源成本costb(t)三部分构成:Cost(t)=ρw·costw(t)+ρc·costc(t)+ρb·costb(t),其中,ρw,ρc,ρb为三种成本权重因子,有ρw+ρc+ρb=1;每条SFC需满足由其自身服务特点所决定的时延需求;一条SFC的总时延D由物理节点处理时 延Dc 、有 线链路 传输时 延Dl以 及无 线链路 传输时 延D w组成 :优化的目标即为在满足用户时延要求和无线速率需求的同时,最小化系统总部署成本Cost(t);
S2:将SFC部署成本最小化模型转化为离散时间下的具有连续状态空间和高维度动作空间的MDP问题,MDP表示马尔可夫决策过程;
MDP的状态由所有用户的信干噪比组成:st=(γ1(t),γ2(t),...,γ|F|(t)),其中F表示服务请求集合,动作由子载波分配矩阵W(t)和VNF部署变量 组成:f
其中N为sfcf的VNF虚拟节点集合,当环境处于状态st时执行动作at,系统会进入下一状态st+1,并得到即时奖励rt,优化目标为SFC的部署总成本,因此将成本的相反数设为奖励函数,即rt=‑Cost(t),动作at的来源为一个确定性策略π,由策略π可得到每个时隙的子载波分配和SFC部署决策,π为状态空间到动作空间的一个映射,即:a=ππ
(s);动作值函数Q (s,a)表示从当前状态s并采取动作a后执行策略π得到的累计奖励的期望值:
定义策略目标函数:J(π)来衡量策略的性能表现,它表示为动作值函数的均值,表示π π
为:J(π)=∫sd(s)Q (s,a)ds=Es~d[Q (s,a)],其中d(s)为状态空间的分布函数,此MDP的优化目标即为,找到一个策略π,使J(π)最大化;
S3:最后考虑到MDP问题的高维性,利用DDPG强化算法获得SFC部署与子载波分配的联合优化策略;
DDPG算法基于AC算法架构,利用神经网络从连续状态空间和高维动作空间中提取特征,并结合深度Q网络算法中经验回放和固定目标网络的思想,使算法达到理想的收敛速率和稳定性;DDPG算法包括Actor和Critic两部分,其中,Actor负责构建参数化的策略,根据当前状态输出动作,Critic负责构建Q网络,根据环境反馈的奖励值来评估当前策略,输出TD误差来更新Actor和Critic两部分的参数,其中TD表示时间差分,使MDP的优化目标J(π)最大化。
2.根据权利要求1所述的一种基于环境感知的服务功能链低成本智能部署方法,其特征在于:所述环境感知包括:在无线接入网端检测用户下行链路的信号强度、干扰功率以及噪声功率,并假设基站采用平均分配的功率控制方法对用户进行发送功率分配,再利用DDPG算法对用户进行子载波分配,则可得到用户无线端可达的下行速率,将此用户可达的无线速率作为其SFC的流速率,使分配给各个VNF的计算资源和虚拟链路的带宽资源与此流速率相匹配。