1.一种基于服务缓存的异构无人机网络任务卸载方法,其特征在于,包括以下步骤:
101、采用双延时深度确定性策略梯度算法构建深度强化学习模型,包括无人机群动作策略发生器、无人机群状态‑动作值发生器、服务缓存更新决策发生器、任务卸载与资源分配决策发生器、经验样本存储区、随机样本集,将无人机群的巡航工作时间划分为K个等长时隙,设任意时隙k内系统状态不变,建立系统状态向量[sk,ak,rk,sk+1],其中,sk为k时隙无人机群状态向量、ak为k时隙无人机群动作向量、rk为k时隙系统奖励函数、sk+1为k+1时隙无人机群状态向量,初始化k=0;
102、如果k<K,令k=k+1,增强型无人机的服务缓存更新决策发生器根据状态向量sk和服务流行度分布,更新k时隙轻量型无人机群的服务缓存配置决策Λk,跳转到步骤103;否则,跳转到步骤106;
103、根据k时隙地面用户的任务请求、无人机群的状态向量sk和服务缓存配置决策Λk,通过任务卸载与资源分配决策发生器更新k时隙的任务卸载决策Ωk与计算资源分配决策Φk;
104、通过无人机群动作策略发生器获得sk状态下无人机群动作向量ak,根据{Λk,Ωk,Φk}执行k时隙的任务卸载,获得无人机群动作奖励rk,根据sk与ak计算获得k+1时隙无人机群状态向量sk+1,将系统状态向量[sk,ak,rk,sk+1]加入经验样本存储区;
105、从经验样本存储区随机抽样获得随机样本集,并将随机样本集分别导入无人机群动作策略发生器与无人机群状态‑动作值发生器进行训练,跳转到步骤102;
106、巡航工作结束;
所述步骤102中增强型无人机的服务缓存更新决策发生器更新k时隙轻量型无人机群的服务缓存配置决策Λk的方法如下:
1)设轻量型无人机集合为N,服务功能集合为S,初始化临时集合N′=N,S′=S;
2)如果 取出N′中第一个元素n,跳转到步骤3),否则,跳转到步骤6);
3)根据轻量型无人机n覆盖区域内每一种服务类型s的局部流行度ns,计算服务类型s在轻量型无人机n上的缓存价值wn,s,根据wn,s的值对集合S′中的元素降序排列;
4)如果 取出S′中第一个元素s,跳转到步骤5),否则,令S′=S,跳转到步骤2);
5)如果无人机n已缓存服务s,跳转到步骤4),否则,增强型无人机根据轻量型无人机n的缓存容量约束与服务类型s的缓存价值wn,s优先级,利用“最不经常使用LFU”算法,对轻量型无人机n进行服务缓存更新,跳转到步骤4);
6)输出k时隙服务缓存配置决策Λk;
所述步骤103中通过任务卸载与资源分配决策发生器更新k时隙的任务卸载决策Ωk与计算资源分配决策Φk的方法如下:
7)设k时隙请求任务卸载的用户集合为Mk,初始化k时隙的任务卸载决策其中, 为k时隙用户m卸载任务到无人机n的二进制决策变量,计算资
源分配决策 其中, 为k时隙无人机n分配给用户m的计算资源,令临时集合M=Mk;
8)根据集合M中每个用户m的任务请求,计算任务的优先级pm,k,并根据pm,k的值对集合M中的元素降序排列,根据无人机服务缓存配置决策Λk和集合M中每个用户m请求的任务类型,为每个用户m建立候选卸载无人机集合Nm,k;
9)如果 取出第一个元素m,跳转到步骤10),否则,跳转到步骤12);
10)如果 计算用户m将任务卸载至Nm,k中候选无人机n的传输时延 根据的值对集合Nm,k中的元素升序排列,取出第一个元素n,计算无人机n需为用户m分配的最小计算资源 跳转到步骤11),否则,跳转到步骤9);
11)如果无人机n可用计算资源 更新计算资源分配决策Φk,令用户m任务卸载决策 跳转到步骤9),否则,跳转到步骤10);
12)对于无人机集合 中的每架无人机n,如果 对Mk中每位 的用户,令更新计算资源分配决策Φk,跳转到步骤13),否则,跳转到步骤
13);
13)输出k时隙任务卸载决策Ωk与计算资源分配决策Φk。
2.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法,其特征在于,所述步骤101中建立系统状态向量[sk,ak,rk,sk+1],其中,k时隙的无人机群状态向量sk、无人机群动作向量ak、系统奖励函数rk、无人机群在sk状态下执行动作ak后,k+1时隙的无人机群状态向量sk+1,分别如公式(1)、(2)、(3)、(4)所示:公式(1)中, 表示无人机n在k时隙的三维坐标, 表示全体无人机的集合,其中包括增强型无人机和所有轻量型无人机;公式(2)中, 为无人机n在k时隙的水平飞行角度, 为无人机n在k时隙的水平飞行距离, 为无人机n在k时隙的垂直飞行距离;公式(3)中,ε为无人机动作奖励权重因子,其中,0≤ε≤1,ψk表示k时隙系统任务完成率, 表示k时隙归一化系统单位任务时延,计算方法如公式(5)、(6)所示:公式(5)中,若用户m的任务在其任务容忍时延内卸载完成,则ψm=1,否则,ψm=0,Mk表示k时隙请求任务卸载的用户集合;公式(6)中, 表示k时隙用户m的单位任务卸载完成时延,计算方法如公式(7)所示:公式(7)中,Tm,k为k时隙用户m的任务卸载完成时延,其由k时隙用户m卸载任务到无人机n上执行的传输时延 与计算时延 组成,dm,k为k时隙用户m请求任务数据量。
3.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法,其特征在于,所述步骤3)中服务类型s在轻量型无人机n上的缓存价值wn,s计算方法如公式(8)所示:公式(8)中,is表示服务s的缓存数据量,ns表示轻量型无人机n覆盖区域内服务类型s的局部流行度。
4.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法,其特征在于,所述步骤8)中每个用户m请求的任务优先级pm,k的计算方法如公式(9)所示:公式(9)中, 为k时隙用户m请求任务的最大容忍时延。
5.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法,其特征在于,所述步骤10)中用户m将任务卸载至Nm,k中候选无人机n的传输时延 和无人机n需为用户m分配的最小计算资源 的计算方法如公式(10)、(11)所示:公式(10)中, 为k时隙用户m与无人机n之间的关联状态,若用户m在无人机n覆盖范围下,则 否则, 为k时隙用户m与无人机n之间的卸载关系,若用户m的任务卸载到无人机n上执行,则 否则, 即关联无人机作为中继将任务转发至卸载无人机上处理; 表示k时隙用户m到关联无人机n的传输速率, 表示k时隙关联无人机n与卸载无人机n′的传输速率,公式(11)中,cm,k表示k时隙用户m请求的任务复杂度; 与 的计算方法分别如公式(12)、(13)所示:公式(12)中, 为用户m的信道带宽, 为k时隙用户m到无人机n的通信信道增益,n0为噪声功率, 为用户m的发射功率;公式(13)中, 表示无人机n的信道带宽,为k时隙无人机n到无人机n′的通信信道增益, 为无人机n的发射功率。
6.根据权利要求1所述的一种基于服务缓存的异构无人机网络任务卸载方法,其特征在于,所述步骤104中根据sk与ak计算获得sk+1的方法,具体包括:将 导入无人机群动作策略发生器获得k时隙无人机群动作向量
再获得 其中,