1.一种基于深度强化学习的移动边缘计算任务卸载方法,其特征在于该方法包括以下步骤:
步骤1、建立网络通信模型;
由单个移动用户设备、拥有MEC服务器的多个无线基站和云端服务器构成一个云‑边‑用户的三层网络通信模型结构;
所述单个移动用户设备拥有的任务具有依赖关系,每个无线基站都配备有相应的MEC服务器,且不同基站配备的服务器的能力不同;
步骤2、应用程序建模;
将具有时序依赖关系的任务建模为一个有向无环图G=(T,E),其中T={t0,t1,...,tn‑1}代表任务集,E={e(ti,tj)|ti,tj∈T}代表任务之间的依赖关系;
每条边e(ti,tj)上有一个值wi,j关联,代表任务ti需要传送给tj的数据量,任务ti用二元组
步骤3、计算用户设备的任务总卸载时延;
对于用户设备的每个任务选择任何一个MEC服务器或云端作为卸载目标服务器,将该任务卸载到服务器上,任务总卸载时延包括任务传输时延、任务等待时延和任务计算时延;
步骤4、通过深度强化学习算法来寻找一个最优的卸载决策,即所有任务选择相应的执行设备来执行使得所有任务总卸载时延最小;
智能体在当前状态下采取动作进入下一个状态,同时得到环境返回的奖励,在智能体和环境不断交互更新下,将不断被优化直到,找到最优的卸载决策。
2.根据权利要求1所述的一种基于深度强化学习的移动边缘计算任务卸载方法,其特征在于:根据任务的有向无环图,任务ti有他的前继任务集pre(ti)和后继任务集suc(ti);
图的出口任务texit的完成时间代表着整个应用程序的结束时间,任务的总卸载时延就是应用程序完成所需的时延。
3.根据权利要求2所述的一种基于深度强化学习的移动边缘计算任务卸载方法,其特征在于:任务在设备上的计算时延为:其中 代表任务ti卸载到设备编号为xi的处理能力;
任务ti与任务tj之间的传输时延为:其中 代表设备编号为xi和xj之间的传输带宽;
任务等待时延用平均等待时间 来表示;
对于有向无环图中单个任务的开始时间计算为:对于有向无环图中单个任务的结束时间计算为:all
根据上述公式计算,得到的出口任务的完成时间就是任务总卸载时延T :all
T =Tend(texit)all
最小化任务总卸载时延的问题描述为:Min T约束条件为:X=[x0,x1,...,xn‑1],xi∈{0,1,...,m},X为卸载决策。
4.根据权利要求1所述的一种基于深度强化学习的移动边缘计算任务卸载方法,其特征在于:智能体的更新方式为:θ θ′
Q(st,at)=rt+γmaxa′Q (st+1,a′)其中,θ表示评估网络中的参数;θ′表示目标网络中的参数;st表示在时刻t,系统所处状态;st+1表示在时刻t+1,系统所处状态;at表示在时刻t的决策动作;a′表示在时刻t+1的决θ θ′
策动作;Q (st,at)表示评估网络在状态st下采取动作at所得到的Q值;Q (st+1,a′)表示目标网络在状态st+1下采取动作a′所得到的Q值;rt表示在状态st下采取动作at所得到的奖励;γ表示奖励衰减比重。
5.根据权利要求3所述的一种基于深度强化学习的移动边缘计算任务卸载方法,其特征在于:将卸载决策设置为深度强化学习的系统状态st,决策动作at则是对系统状态st的更改,如果改后的任务总卸载时延比之前的要小,则使当前奖励rt设为正值,反之设为负值,同时系统进入下一状态st+1。
6.根据权利要求5所述的一种基于深度强化学习的移动边缘计算任务卸载方法,其特征在于:深度强化学习的迭代过程为:
5‑1.初始化深度强化学习中的评估网络,目标网络和记忆库;当前系统状态为st,t初始化为1,迭代次数k初始化为1;
5‑2.当k小于或等于给定迭代次数K时,如果k对m取余为0,则更新当前状态st为目前最好的状态;如果k对m取余不为0,则随机选择一个概率p;
5‑3.如果p小于或等于贪心策略概率ε;则选择评估网络所输出的决策动作at,否则随机选择一个动作;
5‑4.采取决策动作at后,得到奖励rt和下一步状态st+1,并按照格式(st,at,rt,st+1)保存在记忆库中;
5‑5.结合目标网络的输出,计算评估网络的输出:θ′
y=rt+γmaxa′Q (st+1,a′);
θ 2
5‑6.最小化误差(y‑Q(st,at)) ,同时更新评估网络的参数θ;
5‑7.每隔S步,将评估网络的参数赋值给目标网络,同时令k=k+1,回到步骤5.2;
5‑8.当k大于给定迭代次数K时,学习过程结束,得到最佳卸载决策。