1.一种服务缓存边缘云计算网络的物联网数据卸载调度方法,应用于由 个用户设备、 个基站和1个云服务器组成的服务缓存边缘云计算网络,其特征在于:包括如下步骤:S1、根据用户设备采集的物联网数据对服务缓存边缘云计算网络进行训练直至遍历全部训练轮次,其中,服务缓存边缘云计算网络在每个训练轮次的各时隙执行如下操作:S11、各用户设备根据采集的物联网数据生成任务并存储于自身缓存区,各基站根据自身服务缓存收集对应用户设备的状态信息,云服务器汇总全部用户设备的状态信息和基站的状态信息形成总状态信息;
S12、根据总状态信息利用云服务器上部署的深度强化学习模型输出子信道分配决策、任务卸载决策和任务选择决策;
S13、根据子信道分配决策、任务卸载决策和任务选择决策,云服务器采用基于队列跳转的调度顺序算法获得任务调度顺序,所述基于队列跳转的调度顺序算法包括如下步骤:S131、初始化时隙 的任务调度顺序为空列表,并计算用户设备 在时隙 的卸载偏好值 ,公式如下:;
其中, 表示用户设备 在时隙 卸载的任务的总延迟, 表示用户设备 在
时隙 最近被计算完成的任务的生成时间, 表示用户设备 在时隙 最近被
计算完成的任务的生成时间, , ,表示一个训练轮次的总时
隙数;
S132、将全部用户设备在时隙 的卸载偏好值进行升序排序,获得任务的卸载排序作为时隙 的初始任务调度策略 ;
S133、判断 是否满足基于队列跳转的调度顺序算法的约束条件,若是,将 作为时隙 的任务调度顺序,否则,根据约翰逊法调整 直至满足基于队列跳转的调度顺序算法的约束条件,将调整后的 作为时隙 的任务调度顺序;
S14、由云服务器下发总决策至对应基站和用户设备完成物联网数据的卸载调度,所述总决策包括子信道分配决策、任务卸载决策、任务选择决策和任务调度顺序;
S2、利用训练好的服务缓存边缘云计算网络获取所需时隙的总决策完成对应时隙物联网数据的卸载调度。
2.如权利要求1所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述根据用户设备采集的物联网数据对服务缓存边缘云计算网络进行训练直至遍历全部训练轮次的过程中,在每个训练轮次开始前对用户设备的地理位置坐标和基站的服务缓存进行初始化,所述对用户设备的地理位置坐标进行初始化即通过独立分布的泊松点过程将用户设备随机生成于各基站的覆盖范围内,所述对基站的服务缓存进行初始化基于高斯分布实现。
3.如权利要求1所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述用户设备的状态信息包括用户设备的任务和用户设备的信息年龄,所述基站的状态信息包括基站的服务缓存,所述用户设备为传感器,所述任务的种类包括环境温湿度数据、振动数据、压力数据、流量数据、电气参数数据、位置与位移数据、气体浓度数据、液位数据、转速数据、图像数据共10类。
4.如权利要求1所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述深度强化学习模型的目标函数即优化子信道分配决策、任务卸载决策、任务选择决策以最小化全部用户设备在 个时隙内的累计信息年龄的平均值;
所述深度强化学习模型的约束条件包括:
1)服务缓存约束:卸载的任务由云服务器计算或具有对应任务的缓存服务的基站来计算;
2)基站计算约束:同一个基站对一个任务的接收和对另一个任务的计算能够同时进行,同一个基站在任一时刻至多对一个任务进行计算;
3)信息年龄约束:用户设备的信息年龄低于最大可容忍信息年龄;
4)任务完成时间约束:卸载的任务需在对应时隙内被计算完成。
5.如权利要求1所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述基于队列跳转的调度顺序算法的目标函数即优化任务调度顺序以最小化全部用户设备在 个时隙内的累计信息年龄的平均值;
所述基于队列跳转的调度顺序算法的约束条件包括:
1)基站计算约束:同一个基站对一个任务的接收和对另一个任务的计算能够同时进行,同一个基站在任一时刻至多对一个任务进行计算;
2)信息年龄约束:用户设备的信息年龄低于最大可容忍信息年龄;
3)任务完成时间约束:卸载的任务需在对应时隙内被计算完成。
6.如权利要求1所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述用户设备和基站之间、基站和基站之间均基于正交频分多址接入协议划分子信道并以时分复用方式在子信道内进行通信,所述基站与云服务器通过有线链路直接通信,所述用户设备 在时隙 卸载的任务的总延迟 ,具体如下:
1)当用户设备 在时隙 将任务卸载给关联基站时, 为用户设备 在时隙 将任务卸载到关联基站的传输延迟和关联基站在时隙 计算用户设备 卸载的任务的计算延迟相加;
2)当用户设备 在时隙 将任务卸载给非关联基站时, 为用户设备 在时隙 将任务卸载到关联基站的传输延迟、关联基站在时隙 到非关联基站的传输延迟、非关联基站在时隙 计算用户设备 卸载的任务的计算延迟相加;
3)当用户设备 在时隙 将任务卸载给云服务器时, 为用户设备 在时隙 将任务卸载到关联基站的传输延迟和关联基站在时隙 到云服务器的传输延迟相加。
7.如权利要求1所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述由云服务器下发总决策至对应基站和用户设备完成物联网数据的卸载调度后,还执行如下步骤:S15、用户设备计算自身的信息年龄,云服务器根据全部用户设备的信息年龄计算出用户设备的平均信息年龄作为深度强化学习模型的奖励,并生成深度强化学习模型的经验,当经验的数量大于等于预设数量时,深度强化学习模型根据随机抽取的经验进行模型参数更新,当前时隙结束。
8.如权利要求7所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述深度强化学习模型在时隙 的经验表示为由时隙 的状态、时隙 的动作、时隙 的奖励和时隙 的状态组成的四元组,所述时隙 的状态包括全部用户设备在时隙的任务、全部用户设备在时隙 的信息年龄、全部基站在时隙 的服务缓存和全部子信道在时隙 的瑞利衰落因子,所述时隙 的动作包括时隙 的子信道分配决策、任务卸载决策和任务选择决策,所述时隙 的奖励为全部用户设备在时隙 的信息年龄之和的相反数减去时隙 的惩罚值, ,表示一个训练轮次的总时隙数。
9.如权利要求1所述的一种服务缓存边缘云计算网络的物联网数据卸载调度方法,其特征在于:所述深度强化学习模型为SAC‑D智能体,所述SAC‑D智能体包括Actor网络、两个第一Critic网络和两个第二Critic网络,两个所述第一Critic网络均与Actor网络连接,所述第二Critic网络与第一Critic网络一一对应连接,且所述SAC‑D智能体中Actor网络的目标函数 ,公式如下:;
其中, 表示获取使 的期望 最大的Actor网络的模型参数 , 表
示奖励的衰减折扣因子, 表示时隙 的奖励,表示温度系数, 表示时隙 的熵,,表示一个训练轮次的总时隙数。