1.一种工业物联网复杂任务计算卸载方法,其特征在于,包含:S1、获取工业物联网系统的工业任务集合,并根据任务之间的依赖关系,构建有向无环图结构的多约束任务模型;
S2、构建工业物联网系统的总时延模型和总能耗模型,获取优化目标;
S3、根据所述优化目标,构建马尔可夫决策过程;
S4、利用马尔可夫决策过程,将边缘服务器视为智能体,基于观测状态采用基于多智能体近端策略优化的深度强化学习方法,训练模型并输出最终的卸载策略;其中,训练过程引入持续学习机制;
S4包括以下步骤;
定义策略网络 和价值网络 ;
;
;
式中 为神经网络参数; 为时刻的系统状态; 为时刻选择的动作;
定义持续学习的记忆回放缓冲区 ;
;
式中, 为经验数据; 为时刻的奖励; 为任务来源;
初始化策略网络和价值网络,策略网络从环境中获取当前系统状态 ,通过多层全连接网络计算各动作的原始分数,使用Softmax函数将分数转换为概率分布,确保所有动作概率之和为1;
使用采样方法随机选取一个动作 ;
将选择的动作 传递给环境执行,返回相应的奖励 ,并将状态更新为,交 互 过程 生 成 的经 验 数 据 存入 持 续 学习 记 忆 回放 缓 冲 区; 为新经验数据;
引入时序差分误差作为经验优先级的量化指标 :;
;
式中 表示当前时刻的时序差分误差;为防止数值为0的数值;为折扣因子;
加入基于任务标识的分层采样机制:;
;
式中 为本次训练的训练批次; 为从当前任务的经验中采样的子集; 为从旧任务的经验中采样的子集;
引入标准化优势函数 ,对原始优势值 进行标准化处理,得到归一化优势值;其中 为标准化后的优势值; 为当前批次优势值的均值; 为当前批次优势值的标准差;
定义新旧策略的概率比率 ,用于量化策略更新的幅度和方向;
;
式中 为神经网络参数; 为新策略; 为旧策略。
2.根据权利要求1所述的一种工业物联网复杂任务计算卸载方法,其特征在于,定义:为工业任务的数量;为第一索引;为第二索引;
S2包括以下步骤;
获取任务在本地计算时的本地执行时延 和本地执行能耗 ;
;
;
式中 是执行任务 需要的总周期数; 是本地设备的每秒CPU周期数; 为本地设备的执行功率;
获取任务被卸载到边缘服务器时的边缘执行时延 和边缘执行能耗 ;
;
;
式中 表示任务 和 间的依赖关系,若 ,则 ,否则为0; 为任务预传输数据量; 为任务 的边缘传输信道带宽; 为边缘服务器的每秒CPU周期数; 为设备的闲置功率;
获取任务被卸载到云服务器时的云执行时延 和云执行能耗 ;
;
;
式中 为任务 的云传输信道带宽; 为云服务器的每秒CPU周期数;
获取系统时延 和系统能耗 ;
;
;
获取优化目标为;
;
;
;
式中 为时延约束; 为能耗约束。
3.根据权利要求1所述的一种工业物联网复杂任务计算卸载方法,其特征在于,S3包括以下步骤;
将时刻智能体观察到的信息用状态空间 表示为:;
式中,表示任务依赖关系;表示任务就绪状态;表示节点CPU利用率; 表示网络资源状态; 为时延约束; 为能耗约束;
将动作空间 表示为:
;
式中, 为任务卸载策略, ,0表示任务在本地执行,1到 表示对应边缘节点, 表示云端执行; 为工业任务的数量;为第一索引;
奖励函数以任务完成时刻为基准,对时延与能耗引入归一化惩罚,并采用软时间窗对提前与滞后完成分别赋予可调权重的平滑惩罚,从而在满足软时间窗约束的同时实现时延与能耗的综合优化;
;
;
式中 为奖励函数; 为时延动态权重参数; 为能耗动态权重参数;为处罚动态权重参数; 为系统时延; 为系统能耗; 为软时间窗处罚函数;为初始惩罚系数;为缓冲窗口;为严重超时惩罚系数。
4.根据权利要求1所述的一种工业物联网复杂任务计算卸载方法,其特征在于,S4还包括以下步骤;
基于标准化优势函数和概率比率,定义策略损失函数 ;
;
式中 为期望操作; 为最小值函数; 为剪切函数;
引入均方误差函数 ,以计算价值损失:;
式中 为价值网络对当前状态的预测值; 为实际回报;
引入熵正则项 ;
;
引入正则化项:知识蒸馏损失 和梯度惩罚 ;
;
;
式中 为关于旧经验的期望值; 为KL散度; 新策略网络参数的策略损失函数的梯度; 为L2范数的平方;
获取最终损失函数 ;
;
式中 为 的权重; 为 的权重; 为 的权重; 为 的权重;
重复以上步骤,并在迭代完成后得到最终的动作集合。
5.根据权利要求1所述的一种工业物联网复杂任务计算卸载方法,其特征在于,S1包括以下步骤;
获取工业任务集合 ,将每个任务视为图中的一个节点,识别任务间的依赖关系,若任务 的执行依赖于任务 的输出结果,则在任务图中建立有向边,从而构建任务依赖图: ;其中 为工业任务集合;为任务;为工业任务的数量;
为第一索引;为第二索引; 表示任务依赖关系的有向边集合;
在每一调度时刻,基于图结构执行拓扑排序算法,识别所有入度为零的任务集合;
;式中 为就绪任务集合、
为已完成任务集合。
6.根据权利要求1所述的一种工业物联网复杂任务计算卸载方法,其特征在于,工业物联网系统包括产生任务的本地终端设备、部署在边缘侧的边缘服务器以及云服务器。
7.一种工业物联网复杂任务计算卸载装置,其特征在于,适于执行如权利要求1至6任意一项所述的一种工业物联网复杂任务计算卸载方法;工业物联网复杂任务计算卸载装置包含:图构建模块,用于获取工业物联网系统的工业任务集合,并根据任务之间的依赖关系,构建有向无环图结构的多约束任务模型;
目标构建模块,用于构建工业物联网系统的总时延模型和总能耗模型,获取优化目标;
框架构建模块,用于根据所述优化目标,构建马尔可夫决策过程;
求解模块,用于利用马尔可夫决策过程,将边缘服务器视为智能体,基于观测状态采用基于多智能体近端策略优化的深度强化学习方法,训练模型并输出最终的卸载策略;其中,训练过程引入持续学习机制。
8.一种工业物联网复杂任务计算卸载设备,其特征在于,包括处理器、存储器,以及存储在所述存储器内的计算机程序;所述计算机程序能够被所述处理器执行,以实现如权利要求1至6任意一项所述的一种工业物联网复杂任务计算卸载方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6任意一项所述的一种工业物联网复杂任务计算卸载方法。