1.一种基于SFC的无人机边缘网络任务卸载方法,其特征在于,包括以下步骤:
101、将无人机群的巡航时间划分为K个长度为Δt的离散等长时隙,且在任意第k个时隙内系统状态不变,k∈K,采用双延时深度确定性策略梯度算法思想构建深度强化学习模型,初始化k=0,建立第k时隙内包含地面用户位置和无人机群位置的网络状态向量sk、无人机群动作向量ak、奖励函数rk、无人机群动作策略发生器Actor、无人机群状态‑动作值发生器Critic、SFC映射与资源分配决策发生器Mapping‑Allocation、经验样本存储区,随机样本集Mini‑Batch;
102、如果k<K,令k=k+1,根据k时隙内用户i的任务请求、网络状态向量sk和机载计算资源分布状态,通过SFC映射与资源分配决策发生器Mapping‑Allocation更新k时隙内用户i的SFC部署决策{X,Y,Z},其中,X为节点映射决策,Y为链路映射决策,Z为资源分配决策,跳转到步骤103,否则,跳转到步骤105;
103、根据{X,Y,Z}执行k时隙内用户i的任务卸载,获得相应的无人机群动作奖励rk,通过无人机群动作策略发生器Actor获得sk状态下无人机群动作向量ak,根据sk与ak计算获得sk+1,将[sk,ak,rk,sk+1]加入经验样本存储区;
104、从经验样本存储区随机抽样获得Mini‑Batch样本集,并将Mini‑Batch样本集分别导入无人机群动作策略发生器Actor与无人机群状态‑动作值发生器Critic进行训练,跳转到步骤102;
105、结束;
所述步骤102中通过SFC映射与资源分配决策发生器Mapping‑Allocation获得用户i的SFC部署决策{X,Y,Z}的方法如下:
1)根据用户i提出的任务卸载请求,将用户i所需VNF依次放入集合S,初始化候选映射*无人机集合 计数变量m=0,最优SFC部署适应度ξ =0;
a
2)根据S和当前无人机网络状态,为用户i获取接入无人机j,如果成功,跳转到步骤3),否则,跳转到步骤10);
3)如果m<Mmax,其中,Mmax表示网络中无人机节点的最大搜索范围跳数,令m=m+1,跳转至步骤4),否则,跳转到步骤9);
a
4)对距离j 无人机m跳范围内的每一架无人机j,将可用计算资源cj>c0的无人机加入到集合Jmap,其中,c0表示VNF实例化所需基础计算资源,如果|Jmap|≥|S|,令计数变量q=0,跳转到步骤5),否则,跳转到步骤3);
5)如果q<Qmax,其中,Qmax表示在集合Jmap中搜索SFC的最大次数,令q=q+1,跳转至步骤
6),否则,跳转到步骤3);
a
6)根据集合Jmap和接入无人机j,构建并更新所需SFC的映射决策{X,Y},如果成功,跳转到步骤7),否则,跳转到步骤5);
7)根据当前无人机网络状态和映射决策{X,Y},构建并更新所需SFC的资源分配决策{Z},如果成功,跳转到步骤8),否则,跳转到步骤5);
* * * *
8)计算SFC部署决策{X,Y,Z}的适应度ξ,如果ξ ≤ξ,令ξ =ξ,最优SFC部署决策{X ,Y ,*Z}={X,Y,Z},跳转至步骤5),否则,跳转至步骤5);
* * *
9)输出用户i的最优SFC部署决策{X ,Y ,Z};
10)算法结束;
所述步骤7)中构建并更新所需SFC的资源分配决策{Z}的方法如下:
31)根据节点映射决策X,将映射节点加入临时集合J′,并为集合J′中的每架无人机j分配VNF实例化所需基础计算资源c0,根据链路映射决策Y,将虚链路所需带宽b加入资源分配tran tran决策{Z},并获得卸载路径的任务传输总时延t ,其中,t 为任务数据通过卸载路径上每条物理链路的传输时延累和;
32)令临时集合J″=J′,根据无人机j的可用计算资源cj的值,对集合J″中的元素升序排列;
33)如果 计算J″中第一架无人机j需分配的任务计算资源 并更新资源分配决策{Z},从集合J″中移除无人机j,跳转到步骤33),否则,跳转到步骤34);
com max tran max
34)如果任务计算时延t ≤T ‑t ,其中,T 为任务容忍时延,输出资源分配决策{Z},跳转到步骤35),否则,跳转到步骤35);
35)算法结束;
所述步骤33)中无人机j为用户i分配的任务计算资源 的计算方法,如公式(6)所示:c
公式(6)中,u表示用户i的任务数据量,w表示用户i的任务复杂度,t表示剩余计算时c延,t的计算方法,如公式(7)所示:
2.根据权利要求1所述的一种基于SFC的无人机边缘网络任务卸载方法,其特征在于,所述步骤101中建立第k时隙内包含地面用户位置和无人机群位置的网络状态向量sk、无人机群动作向量ak、奖励函数rk,分别如公式(1)、(2)、(3)所示:公式(1)中, 表示无人机j在k时隙的三维坐标, 表示用户i的三维坐标,J表示无人机集合,I表示用户集合;公式(2)中,αj,k∈[0,2π]为无人机j的水平飞行角度, 为水平飞行速度,βj,k∈{‑1,1}为无人机j的垂直飞行方向, 为垂直飞行速度;公式(3)中,ε1,ε2,ε3为无人机动作奖励函数权重因子,其中,0≤ε1≤1,0≤ε2≤1,0≤ε3≤1,ψ表示系统任务完成率,表示归一化系统单位任务时延,φ表示用户通信中断率;
3.根据权利要求1所述的一种基于SFC的无人机边缘网络任务卸载方法,其特征在于,a所述步骤2)中为用户i获取接入无人机j的方法如下:
11)建立临时集合J′,将无人机集合J中满足用户i通信距离条件的无人机加入集合J′,如果 跳转到步骤12),否则,跳转到步骤15);
12)建立临时集合J″,将J′中满足SFC第一个VNF类型需求的无人机加入J″,如果跳转到步骤13),否则,跳转到步骤14);
13)根据每架无人机j中可用计算资源cj的值,对集合J″中的元素降序排列,根据用户i与无人机j的通信距离,对其中具有相同cj值的元素升序排列,取出J″中第一架无人机j,令a用户i的接入无人机j=j,跳转到步骤15);
14)根据用户i与无人机j的通信距离,对集合J′中的元素升序排列,取出J′中第一架无a人机j,令用户i的接入无人机j=j;
15)算法结束。
4.根据权利要求1所述的一种基于SFC的无人机边缘网络任务卸载方法,其特征在于,所述步骤6)中构建并更新所需SFC的映射决策{X,Y}的方法如下:t a
21)初始化临时变量j=j,临时集合J′=Jmap, 计数变量n=0,l=0;
22)令n=n+1,将J′中满足SFC第n个VNF类型需求的无人机加入集合J″;
23)对集合J″中的每架无人机j,根据各无人机间的链路代价,利用最小代价通路算法t计算无人机j 到无人机j之间的最小代价通路 并将不存在最小代价通路的节点从集合J″中移除;
24)如果 根据无人机的可用计算资源,更新J″中每架无人机的节点映射概率并根据映射概率分布 依概率随机取出J″中的一架无人机j作为第n个VNF映t
射节点加入节点映射决策X,将通路 作为第l条虚链路加入链路映射决策Y,令j=j,从集合J′中移除j,跳转到步骤25),否则,跳转到步骤26);
25)如果n<|S|,令l=l+1, 跳转到步骤22),否则,输出映射决策{X,Y},跳转到步骤26);
26)算法结束。
5.根据权利要求4所述的一种基于SFC的无人机边缘网络任务卸载方法,其特征在于,所述步骤23)中各无人机间的链路代价的计算方法如公式(4)所示:公式(4)中, 为物理链路e的可用带宽资源be与物理链路e的总带宽资源之比,表示物理链路e的归一化可用带宽资源,b表示任务卸载的带宽需求;
所述步骤24)中更新J″中每架无人机的节点映射概率 的方法,如公式(5)所示:公式(5)中,cj表示无人机j的可用计算资源。
6.根据权利要求1所述的一种基于SFC的无人机边缘网络任务卸载方法,其特征在于,所述步骤8)中SFC部署决策{X,Y,Z}的适应度ξ的计算方法,如公式(8)所示:公式(8)中, 分别表示任务卸载所需的归一化计算资源和归一化带宽资源,其中, 的计算方法,如公式(9),(10)所示:公式(9)中,Cj表示无人机j的总计算资源;公式(10)中,E表示无人机网络中所有物理链路的集合, 表示物理链路e为用户i分配的带宽资源,Be表示物理链路e的总带宽资源。
7.根据权利要求1所述的一种基于SFC的无人机边缘网络任务卸载方法,其特征在于,所述步骤103中根据sk与ak计算获得sk+1的方法,具体包括:将 导入无人机群动作策略发生器Actor获得k时隙无人机群动作向量 再获得
其中,