1.一种基于深度增强学习和凸优化的卸载决策及资源分配方法,包括如下步骤:
(1)对于一个边缘计算系统,该系统包含一个边缘服务器及其所服务的N个用户设备,边缘服务器与用户设备之间通过无线通信;获取系统中各用户设备当前需要处理的任务数据量,N为大于1的自然数;
(2)建立一个由输入层、隐藏层、输出层连接组成的深度神经网络并初始化网络参数,将各用户设备当前需要处理的任务数据量作为输入层,输出层则生成系统卸载策略;
(3)将所述系统卸载策略复制多份并对每份卸载策略进行修改,得到多份备选卸载策略,修改方式为:对于任一份卸载策略,随机从中选取若干个用户设备,若这些用户设备的卸载策略为本地计算,则将其更改为服务器计算,若这些用户设备的卸载策略为服务器计算,则将其更改为本地计算;
(4)对于系统卸载策略以及每一备选卸载策略,就策略中需进行计算卸载的用户设备,通过凸优化算法计算出边缘服务器为这些用户设备分配的算力;
(5)根据得到的算力分配方案,计算出系统卸载策略以及每一备选卸载策略的综合成本函数,取综合成本函数最小的卸载策略提供给系统执行,并将该卸载策略以及各用户设备当前需要处理的任务数据量作为一组样本存放至一固定容量的记忆模块中。
2.根据权利要求1所述的卸载决策及资源分配方法,其特征在于:所述深度神经网络包含有多个隐藏层,隐藏层采用ReLU作为激活函数,输出层采用Sigmoid作为激活函数。
3.根据权利要求1所述的卸载决策及资源分配方法,其特征在于:所述深度神经网络将各用户设备当前需要处理的任务数据量组成一个1×N大小的向量作为输入层;输出层生成的系统卸载策略则由一个1×N大小的向量表示,若该向量中的元素值大于等于0.5,则将其置1,表示对应的用户设备将进行计算卸载转由边缘服务器为其处理当前任务,若该向量中的元素值小于0.5,则将其置0,表示对应的用户设备将在本地处理当前任务。
4.根据权利要求1所述的卸载决策及资源分配方法,其特征在于:所述步骤(4)中以综合成本函数最小为目标,采用SLSQP凸优化算法进行求解,得到边缘服务器为相关用户设备分配的算力。
5.根据权利要求1所述的卸载决策及资源分配方法,其特征在于:所述综合成本函数的表达式如下:
其中:Cost为综合成本函数, 为第i台用户设备在本地处理当前任务的计算用时,为第i台用户设备在本地处理当前任务的能耗,α为给定的权重系数, 为第i台用户设备通过计算卸载转由边缘服务器处理当前任务的耗时, 为第i台用户设备通过计算卸载转由边缘服务器处理当前任务的能耗,xi为卸载策略中对应第i台用户设备的决策值,即xi=1表示第i台用户设备将进行计算卸载转由边缘服务器为其处理当前任务,xi=0表示第i台用户设备将在本地处理当前任务。
6.根据权利要求5所述的卸载决策及资源分配方法,其特征在于:所述耗时 及能耗 的表达式如下:
其中: 为第i台用户设备将当前任务上传至边缘服务器所花费的时间,di为第i台用户设备当前任务的数据量大小,ri为第i台用户设备与边缘服务器之间的数据传输速度,为边缘服务器处理第i台用户设备当前任务的计算用时, 为第i台用户设备将当前任务上传至边缘服务器所消耗的能量,pupload为用户设备的任务上传功率, 为第i台用户设备等待边缘服务器反馈结果这段时间所消耗的能量,pwaiting为用户设备的等待状态功率, 为边缘服务器为第i台用户设备分配的算力。
7.根据权利要求5所述的卸载决策及资源分配方法,其特征在于:所述计算用时及能耗 的表达式如下:
其中:di为第i台用户设备当前任务的数据量大小,flocal为第i台用户设备单位时间内可处理的数据量大小,plocal为第i台用户设备在本地进行计算处理的运行功率。
8.根据权利要求1所述的卸载决策及资源分配方法,其特征在于:当经过多轮决策后,若记忆模块已满,则将最早放入记忆模块中的样本删除以腾出空间存放新的样本。
9.根据权利要求1所述的卸载决策及资源分配方法,其特征在于:所述深度神经网络每隔一定轮次需进行一次训练,即随机从记忆模块选取一批样本采用Adam算法对深度神经网络进行训练。