1.一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,包括以下步骤:S1:构建深度强化学习模型,得到神经网络,并初始化神经网络参数;
S2:获取智能设备产生的计算任务信息并整合成系统状态St;
其中,t表示决策时隙;
S3:输入系统状态St对神经网络进行训练,得到系统动作At;
S4:根据系统动作At计算得到相应的总开销Ctotal;
S5:根据总开销Ctotal训练神经网络,得到使总开销最小化的系统动作;
S6:完成神经网络的训练,按照得到的使总开销最小化的系统动作进行资源分配。
2.根据权利要求1所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,初始化的神经网络参数包括权重、偏置、学习率、神经网络的层数。
3.根据权利要求1所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,系统动作At包括智能设备中的二进制卸载决策、小基站中充电资源和计算资源的分配决策、无人机中计算资源的分配决策。
4.根据权利要求3所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,智能设备的二进制卸载决策采用二进制卸载变量αi∈(0,1)表示;其中,αi=0表示选择在本地执行计算任务,αi=1则表示选择将计算任务整体卸载到无人机上进行处理。
5.根据权利要求4所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,在步骤S4中,设第i个智能设备本地计算的执行时间为:
第i个智能设备卸载计算的执行时间为:
第i个智能设备本地计算的能量消耗为:
第i个智能设备卸载计算的能量消耗为:
第i个智能设备从小基站获取的能量为:
则第i个智能设备本地计算的成本为:
第i个智能设备卸载计算的成本为:
第i个智能设备从小基站获取的能量成本为:
因此,总开销为:
其中,fbs,i是小基站分配给智能设备i的计算资源,di表示智能设备的计算任务数据量大小、li表示执行计算任务所需要的计算资源数,智能设备i的数据上传速率为B为无线信道带宽,pi是智能设备i的传输功率,hi是分配给智能设备i的无线信道增益,N0是噪声功率;智能设备i上传数据到无人机的上传速率hi,u是智能设备与无人机之间的信道增益,fi是无人机分配给智能设备的计算资源,ρ是小基站的能耗密度,liζ是向无人机购买的计算资源的成本,ζ是单位周期价格,F是无人机的计算资源总数;η表示能量收集的效率(0<η<1),Pbs表示的是小基站的传输功率,Ti是小基站为智能设备充电服务的时间,hi,bs表示小基站与某一个智能设备之间的信道增益,λ为单位能耗价格。
6.根据权利要求5所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,总开销最小化需满足以下约束条件:s.t.C1:
C2:
C3:
C4:
C5:
上面约束中,C1表示每个智能设备只能选择在小基站进行本地计算或者卸载到无人机进行处理;C2表示无论是小基站本地计算的延迟还是无人机处理的延迟都要满足设备的最大容忍延迟时间,τi表示任务的最大截止时间;C3表示单个无人机和小基站计算资源有限的情况下,无人机和小基站给智能设备提供的资源综合不会超过它们自身的计算资源限制,FBS表示小基站的计算资源总数;C4表示无人机分配给单个智能设备的计算资源不超过无人机自身的资源限制;C5表示小基站给单个智能设备充电的能量不会超过智能设备电池最大容量,Eed表示智能设备电池的最大容量,ei(t)是每个智能设备的剩余电量。
7.根据权利要求6所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,神经网络包括动作网络和评论网络。
8.根据权利要求7所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,在步骤S5中,具体包括以下步骤:S5.1:根据总开销Ctotal得到系统动作At在决策时隙t的奖励值Rt=-Ctotal,同时获得下一个系统状态St+1并将(St,At,Rt,St+1)存放在深度强化学习模型的记忆内存中;
S5.2:计算全部时隙下获得的最大总奖励值 即最小化总开销;
其中,对于任何给定的St,通过把策略π定义为一个映射π得到At;对于任何At,通过定义一个映射Q(St,A)得到奖励值R;
S5.3:将系统状态空间定义为:
将系统动作空间定义为:
At∈{αi,Ti,fbs,i,fi}
其中,Ri={di,li,τi}是智能设备产生的简要计算任务信息, 是无人机的剩余资计算资源;
S5.4:从记忆内存中选择样本,向损失函数最小化的方向优化动作网络和评论网络中的损失函数并更新动作网络的参数θu和评论网络中的参数θQ,得到使总开销最小化的系统动作。
9.根据权利要求8所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,在步骤S5.4中,将从记忆内存中选择优化动作网络的样本表示为:Ω={(St,At)|t∈Γ};
将从记忆内存中选择优化评论网络的样本表示为:ΩΓ={(St,At,Rt,St+1)|t∈Γ};
其中,Γ代表样本索引。
10.根据权利要求8所述的一种基于深度强化学习的无人机辅助资源分配方法,其特征在于,在步骤S5.4中,动作网络的损失函数为:
评论网络的损失函数为:
L(θQ)=EΓ(Rt+γmaxQ(S′t,A′t)-Q(St,At))2其中,u(St)表示动作网络输入St所产生的输出,γ是折扣因子。