利索能及
我要发布
收藏
专利号: 2022105634578
申请人: 重庆科技学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于强化学习的云边融合网络任务卸载方法,其特征在于,包括以下步骤:S1:各个智能设备在当前边缘场景下向本地边缘服务器发送任务请求;

S2:本地边缘网关实时感知本地边缘服务器的计算资源,当计算资源不足时,向企业云服务器发送任务卸载请求,由企业云服务器通过强化学习算法确定最优任务卸载策略;

S3:本地边缘网关根据最优任务卸载策略获取企业云服务器所指定的临近边缘服务器的控制权限,并将任务拆分到对应的临近边缘服务器上辅助执行;

S4:各个临近边缘服务器将执行结果回传到本地边缘网关,由本地边缘服务器汇总形成任务执行结果反馈至发送任务请求的智能设备;

智能设备向本地边缘服务器发送任务请求描述为:

其中,di代表计算任务Ti的输入数据大小,包括程序代码和输入参数; 代表任务计算完成后的输出数据大小;Ci代表完成计算所需的CPU周期数; 代表计算任务Ti可以容忍的最大延迟;

则本地边缘网关按照: 计算在时隙t内本地边缘服务器处理任务Ti的执行时间 其中Floc(t)表示本地边缘服务器在时隙t内的计算能力;如果则认定为计算资源不足,本地边缘网关向企业云服务器发送任务卸载请求;否则,由本地边缘服务器在本地执行;

如果本地边缘服务器在时隙t内将任务Ti中的第m个子任务卸载到第j个临近边缘服务器上执行,则第m个子任务的执行时间 为:其中,

本地边缘服务器在时隙t内将任务Ti中的第m个子任务卸载到第j个临近边缘服务器所需的链路传输时间, 为任务Ti中的第m个子任务的输入数据大小,H1,j表示本地边缘服务器与第j个临近边缘服务器之间的链路传输能力; 表示第j个临近边缘服务器处理任务Ti中的第m个子任务所需的执行时间; 表示完成第m个子任务所需的CPU周期数,FSj(t)表示时隙t内第j个临近边缘服务器的计算能力;

在时隙t内将任务Ti中的第m个子任务卸载到第j个临近边缘服务器所需的链路传输时间包括输入数据上传时间 和输出数据回传时间 其中:表示任务Ti中的第m个子任务计

算完成后的输出数据大小, 表示本地边缘服务器Si与第j个临近边缘服务器Sj的上行链路速率; 表示本地边缘服务器Si与第j个临近边缘服务器Sj的下行链路速率;

按照: 计算本地边缘服务器Si与第j个临近边

缘服务器Sj的上行链路速率;

且按照: 计算本地边缘服务器Si与第j个临近

边缘服务器Sj的下行链路速率;

up

其中,Bj表示Sj的带宽,Bi表示Si的带宽;Pi 表示Si上传数据的传输功率; 表示Sj回传数据的传输功率,Hi表示Si在无线信道中的信道增益,Hj表示Sj在无线信道中的信道增益;N0表示信道的噪声功率;gup表示上行链路目标误码率,Γ(gup)表示以满足上行链路目标误码率而引入的信噪比余量;gdo表示下行链路目标误码率,Γ(gdo)表示以满足下行链路目标误码率而引入的信噪比余量,d(i,j)表示Si和Sj之间的距离;ξ表示传输信道路径的损耗指数;λij表示Si和Sj之间传输速率修正系数;

企业云服务器通过强化学习算法确定最优任务卸载策略时采用Q‑learning强化学习模型,包括状态、动作、奖励、策略以及回报,其中:状态包括:边缘服务器系统总开销,连接信道分配状态,当前服务节点的有效计算资源;

动作包括:本地边缘服务器执行方案和卸载到临近边缘服务器执行方案;

奖励包括:本地边缘服务器执行奖励函数和卸载到临近边缘服务器执行的奖励函数;

策略包括:不同状态下执行不同动作的概率;

回报包括:通过奖励函数进行计算得到系统的总奖励;

企业云服务器根据当前时隙各个边缘服务器的状态,生成卸载方案,通过Q‑learning函数计算Q值,通过更新Q值使得系统总奖励值最大,从而选定最优任务卸载策略;

在采用Q‑learning强化学习迭代过程中,ε‑贪心算法用于选择动作,其中,边缘服务器的行为表示为信道、功率和计算资源的矩阵,每个动作随机选择的概率ε,选择与最大Q值相关的动作概率为1–ε。

2.根据权利要求1所述的基于强化学习的云边融合网络任务卸载方法,其特征在于,各个边缘服务器根据当前边缘场景下各个智能设备的任务请求情况确定自身标签状态STAGi;STAGi=1,表示第i个边缘服务器具备计算资源接收其它边缘服务器的卸载任务;

STAGi=0表示第i个边缘服务器不具备计算资源接收其它边缘服务器的卸载任务。