1.一种面向光伏边缘计算节点的任务处理方法,其特征在于,应用于光伏边缘计算节点网络系统,包括:基于用户任务卸载队列和迁移任务接收队列,生成各光伏边缘计算节点的任务处理队列;
以各光伏边缘计算节点的任务处理量与当前供电能力相匹配为目标,基于预先构建的服务延时模型、服务能耗模型和电能存储量模型,构建处理器资源分配优化子问题和任务迁移优化子问题;任务处理量与当前供电能力相匹配指的是当前光伏边缘计算节点的供电能力与处理器所能支持的最大任务处理能力相匹配;
基于各光伏边缘计算节点的任务处理队列,利用预设多智能体强化学习算法联合求解处理器资源分配优化子问题和任务迁移优化子问题,得到优化后的处理器资源分配策略和任务迁移策略,所述处理器资源分配策略用于确定各光伏边缘计算节点内各处理器是否用于处理任务,所述任务迁移策略用于确定是否将本光伏边缘计算节点中的任务迁移至其他光伏边缘计算节点。
2.根据权利要求1所述的一种面向光伏边缘计算节点的任务处理方法,其特征在于:光伏边缘计算节点的任务处理队列的表达式为:,
式中, 为光伏边缘计算节点 的任务处理队列, 为光伏边缘计算节点 的迁移任务接收队列,迁移任务接收队列中存储的是历史接收到的从其他光伏边缘计算节点迁移过来的任务, 为光伏边缘计算节点 的用户任务卸载队列,用户任务卸载队列中存储的是历史接收到的用户卸载的任务。
3.根据权利要求1所述的一种面向光伏边缘计算节点的任务处理方法,其特征在于,所述服务延时模型的构建方法包括:构建任务的处理延时模型,所述任务的处理延时模型的表达式为:,
其中, 为编号为 的任务 经光伏边缘计算节点 的第k个处理器进行处理的延时, 为第k个处理器的计算频率, 为计算完任务 所需的处理器周期数;
构建任务的等待延迟模型,所述任务的等待延迟模型的表达式为:,
其中, 为任务处理队列 中的任务 在光伏边缘计算节点 中的等待时间, 表示光伏边缘计算节点 中第k个处理器完成当前任务的剩余时间,, 表示t时隙光伏边缘计算节点 中第k个处理器的工作状态, 表示正在进行任务处理, 表示空闲, 表示光伏边缘计算节点 在t时隙将第k个处理器用于处理任务 的决策, 表示光伏边缘计算节点n在t时隙将第k个处理器用于处理任务 ,否则, ; 表示任务处理队列 中任务 的前序任务集合; 表示完成任务 所需处理器周期数; 表示光伏边缘计算节点n中处理器总数;
构建任务的传输延迟模型,所述任务的传输延迟模型的表达式为:,
其中, 为任务 的在光伏边缘计算节点 和光伏边缘计算节点m之间的传输时间, 为任务 的数据量大小, 表示光伏边缘计算节点 和光伏边缘计算节点m之间的传输速率, , 、 分别表示光伏边缘计算节点n和光伏边缘计算节点m之间的最小传输速率和最大传输速率;
构建任务的等待传输延迟模型,所述任务的等待传输延迟模型的表达式为:,
其中, 为任务 在发送队列 中的等待时间, 表示发送队列中任务 的前序任务集合;发送队列 的构建方法为:当光伏边缘计算节点 负载过重或储能不足时,任务 将进入发送队列 ; 为任务 的在光伏边缘计算节点 和光伏边缘计算节点m之间的传输时间;
构建光伏边缘计算节点的服务延时模型,光伏边缘计算节点的服务延时模型的表达式为:,
其中, 为t时隙所估计的任务 的服务总延迟; 表示光伏边缘计算节点n在t时隙将任务 迁移给光伏边缘计算节点m的决策, 表示光伏边缘计算节点n在t时隙将任务 迁移给光伏边缘计算节点m,否则, , 表示光伏边缘计算节点总数, 表示光伏边缘计算节点m的第k个处理器处理任务 所需的时长,表示任务 在光伏边缘计算节点m的处理队列 中的等待处理所需时长。
4.根据权利要求1所述的一种面向光伏边缘计算节点的任务处理方法,其特征在于,所述服务能耗模型的构建方法包括:构建任务计算能耗模型,所述任务计算能耗模型的表达式为:,
,
其中, 为任务 由光伏边缘计算节点n中第k个处理器在t时隙进行处理的计算能耗, 和 与处理器架构有关的功率计算参数, 为光伏边缘计算节点n中第k个处理器的计算频率, 表示 时隙完成任务 所需的剩余处理器周期数量, 为时隙长度,为光伏边缘计算节点n中第k个处理器的运行功率;
构建任务迁移能耗模型,所述任务迁移能耗模型的表达式为:,
其中, 为任务 在t时隙由光伏边缘计算节点n传输至光伏边缘计算节点m的传输能耗, 表示光伏边缘计算节点n的传输功率, 表示任务 在t时隙剩余未传输数据量, 表示光伏边缘计算节点 和光伏边缘计算节点m之间的传输速率;
构建任务服务能耗模型,所述任务服务能耗模型的表达式为:,
其中, 为任务 在t时隙所需的服务能耗, 表示光伏边缘计算节点n中处理器总数; 表示光伏边缘计算节点n在t时隙将任务 迁移给光伏边缘计算节点m的决策; 表示光伏边缘计算节点n在t时隙将第k个处理器用于处理任务 的决策,表示光伏边缘计算节点n在t时隙将第k个处理器用于处理任务 ,否则,; 表示光伏边缘计算节点总数;
构建光伏边缘计算节点的服务能耗模型,所述光伏边缘计算节点的服务能耗模型的表达式为:,
其中, 为光伏边缘计算节点n在t时隙服务的所有任务总能耗, 为光伏边缘计算节点 的任务处理队列。
5.根据权利要求1所述的一种面向光伏边缘计算节点的任务处理方法,其特征在于:所述电能存储量模型的构建方法包括:构建光伏转化模型,所述光伏转化模型的表达式为:,
其中, 为光伏边缘计算节点n的光伏供电系统供电功率,η表示电能转换效率,表示光伏边缘计算节点n的光伏板受照面积, 为光伏边缘计算节点n在t时隙的所受光辐射强度;
构建每个光伏边缘计算节点每个时隙电能变化量模型,每个光伏边缘计算节点每个时隙电能变化量模型的表达式为:,
其中, 为光伏边缘计算节点n在t时隙的电能变化量, 为光伏边缘计算节点n的静态能耗,取决于处理器运行状态, 为时隙长度, 为光伏边缘计算节点n在t时隙服务的所有任务总能耗;
构建电能存储量模型,所述电能存储量模型的表达式为:,
其中, 为光伏边缘计算节点n在t时隙的电能存储量, 为光伏边缘计算节点n的初始电能存储量。
6.根据权利要求1所述的一种面向光伏边缘计算节点的任务处理方法,其特征在于:所述任务处理量与当前供电能力相匹配指的是当前光伏边缘计算节点的供电能力与处理器所能支持的最大任务处理能力相匹配,所述处理器资源分配优化子问题和任务迁移优化子问题的构建方法包括:建立处理器资源分配与任务迁移的联合优化问题,联合优化问题的表达式为 :,
约束条件包括:
,
,
,
,
其中, 为光伏边缘计算节点网络系统已运行时隙数, 为光伏边缘计算节点总数,为光伏边缘计算节点n在t时隙的电能存储量, 为任务 的服务总延迟,为任务 的最大服务延迟, 为光伏边缘计算节点n处于非宕机状态时的最小任务处理量, 为t时隙光伏边缘计算节点n处理任务的数据量; 为光伏边缘计算节点n在t时隙将第k个处理器用于处理任务 的决策, 表示光伏边缘计算节点n在t时隙将第k个处理器用于处理任务 ,否则, , 为光伏边缘计算节点n在t时隙将任务 迁移给光伏边缘计算节点m的决策, 表示光伏边缘计算节点n在t时隙将任务 迁移给光伏边缘计算节点m,否则, ;
的计算公式为:
,
其中, 为低电量判定阈值, 为高电量判定阈值, 为光伏边缘计算节点n的储能最大值; 和 分别为光伏边缘计算节点n基于时隙t的新增电能和光伏边缘计算节点网络系统负载所预估的任务处理量;
的计算公式为:
,
其中, 为任务 的复杂度,即处理每bit任务数据所需的处理器周期数;
, 表示t时隙光伏边缘计算节点 中第k个处理器的工作状态, 表示正在进行任务处理, 表示空闲; 表示用户在t时隙将任务 卸载至光伏边缘计算节点n的决策,如果 ,则用户在t时隙将任务卸载至光伏边缘计算节点n,否则, ; 为光伏边缘计算节点 的任务处理队列, 表示第k个处理器的计算频率, 表示光伏边缘计算节点n中处理器总数;
为光伏边缘计算节点n在t时隙新增的电能可供处理器运行的最大时长,计算公式为:,
其中, 为光伏边缘计算节点n的光伏供电系统供电功率, 为时隙长度, 表示光伏边缘计算节点n的传输功率; 为光伏边缘计算节点n的静态能耗,取决于处理器运行状态; 为光伏边缘计算节点n中第k个处理器的运行功率; 表示光伏边缘计算节点n在t时隙传输任务数据所耗费的时间,计算公式为:,
其中, 为发送队列, 表示任务 在t时隙剩余未传输数据量, 表示光伏边缘计算节点 和光伏边缘计算节点m之间的传输速率;
的计算公式为:
,
其中, 为光伏边缘计算节点 的任务处理队列;
的计算公式为:
;
对处理器资源分配与任务迁移的联合优化问题进行转化和分解,分别获得处理器资源分配优化子问题和任务迁移优化子问题;
在利用预设多智能体强化学习算法求解过程中,针对任务迁移优化子问题所做出的决策应当作为下一次对处理器资源分配优化子问题做出决策时的观测值。
7.根据权利要求6所述的一种面向光伏边缘计算节点的任务处理方法,其特征在于:所述对处理器资源分配与任务迁移的联合优化问题进行转化和分解,分别获得处理器资源分配优化子问题和任务迁移优化子问题,包括:针对约束条件 ,构建光伏边缘计算节点n在t时隙的待处理任务量 ,;
构建的待处理任务量 趋于稳定的条件为:,
其中, , ,
, 为t时隙时 的期望值, 为常数项, 为光伏边缘计算节点n在所有时隙中所处理的任务量的最大值, 为光伏边缘计算节点n在t时隙的最小任务处理量与实际任务处理量之差;
基于待处理任务量 趋于稳定的条件,将处理器资源分配与任务迁移的联合优化问题 转化为问题 ,问题 的表达式为:,
的约束条件包括:
,
其中,为非负参数,起到权衡任务处理量和电能存储量的作用;
对问题 进行分解,得到子问题 和子问题 ,子问题 为已知任务迁移策略 的情况下的处理器资源分配优化子问题,子问题 的表达式为:,
约束条件为:
,
子问题 为在给定处理器资源分配策略 的情况下任务迁移优化子问题,子问题 的表达式为:,
约束条件为:
、 ,
其中, 表示光伏边缘计算节点n的第k个处理器在t时隙的运行时间,具体表示为:
,
其中, 表示t时隙完成任务 所需的剩余处理器周期数量。
8.根据权利要求7所述的一种面向光伏边缘计算节点的任务处理方法,其特征在于:所述利用预设多智能体强化学习算法联合求解处理器资源分配优化子问题和任务迁移优化子问题,得到优化后的处理器资源分配策略和任务迁移策略,包括:构造每个光伏边缘计算节点的状态,包括:光伏边缘计算节点n在t时隙的状态 表示为:,
其中, 表示任务 的数据量大小, 表示用户在 时隙将任务 卸载至光伏边缘计算节点n的决策, 表示光伏边缘计算节点n在 时隙将任务迁移给光伏边缘计算节点m的决策;
其中,针对子问题1,光伏边缘计算节点n在t时隙的状态 表示为:,
针对子问题2,光伏边缘计算节点n在t时隙的状态 表示为:,
构造每个光伏边缘计算节点的动作,包括:光伏边缘计算节点n在t时隙所做的动作 为:,
其中,光伏边缘计算节点n在t时隙针对子问题1所做的动作 为:,
光伏边缘计算节点n在t时隙针对子问题2所做的动作 为:,
构造每个光伏边缘计算节点的奖励:
光伏边缘计算节点n在t时隙所获奖励 为:,
其中, 表示t时隙光伏边缘计算节点n的子问题1的奖励,具体计算为:,
表示t时隙光伏边缘计算节点n的子问题2的奖励,具体计算为:,
其中,F为一位二进制数,如果括号内为真,则值为1,否则值为0; 为t时隙到达光伏边缘计算节点n的任务集合, 表示光伏边缘计算节点的编号; 为光伏边缘计算节点m的第k个处理器核心处理任务 所需延迟, 表示光伏边缘计算节点 在t时隙将第k个处理器用于处理任务 的决策;
先初始化子问题1的评估网络 和目标网络 ,以及对应的评估网络参数 和目标网络参数 ,再初始化子问题2的批评家目标网络 和批评家评估网络 ,以及对应的批评家目标网络参数 和批评家评估网络参数 ,再初始化子问题2的演员目标网络和演员评估网络 ,以及对应的演员目标网络参数 和演员评估网络参数 ;
重复执行以下步骤,直至子问题1和子问题2收敛:根据光伏边缘计算节点n在t时隙的状态 依次针对子问题1进行决策,做出动作,获取子问题1的奖励 ,并观察光伏边缘计算节点n在 时隙的状态 ,生成数据 ,并将其放入子问题1的子经验回放池;
针对子问题1从经验回放池里进行采样H个数据,并计算出损失函数:子问题1的损失函数 的计算公式为:
,
其中, 表示采样的H个数据对应的函数期望值, 为光伏边缘计算节点n对于子问题1采样的第h 个样本对应的状态, 为光伏边缘计算节点n对于子问题1采样的第h个样本对应采取的动作, 为光伏边缘计算节点n的子问题1目标网络在采样的第h个样本下的函数值,计算公式为:,
其中, 为光伏边缘计算节点n针对子问题1采样的第h个样本中下一时隙状态,为光伏边缘计算节点n针对子问题1采样的第h个样本中下一时隙状态所做出的动作,为折扣因子, 为子问题1中节点n在状态为 时做出动作 时所获得的奖励, 为节点n的子问题1的目标网络在参数为 状态为 时做出动作 时所输出值;再根据梯度下降法来更新子问题1的评估网络;
根据光伏边缘计算节点n在t时隙的观测状态 ,子问题1输出的任务迁移决策,做出动作 ,获取子问题2的奖励 ,并观察光伏边缘计算节点n在时隙的状态 ,生成数据 并将其放入子问题2的经验回放池;
针对子问题2从经验回放池中采样H个样本,并计算批评家评估网络损失函数 ,计算公式为: ,
其中, ,为 所对应的全局状态数据, 为光伏边缘计算节点n针对子问题2采样的第h个样本对应的状态, 为子问题2中节点n在模型参数为 状态为 时做出动作 演员评估网络 输出值, 计算为:,
其中, ,为 所对应的全局状态数据,为光伏边缘计算节点n针对子问题2采样的第h个样本中下一时隙状态,为子问题2中光伏边缘计算节点n在模型参数为 状态为 时做出动作 演员目标网络 输出值;
计算演员评估网络的累积策略函数值 ,计算公式为:,
其中, 为子问题2中光伏边缘计算节点n在模型参数为 状态为时做出动作 批评家评估网络输出值;
对 采用策略梯度法, 关于 的梯度 计算为:,
其中, 表示对 关于参数 做梯度运算,更新演员评估网络和批评家评估网络:
批评家评估网络参数 和演员评估网络参数 通过损失函数梯度更新:,
其中, 表示对 关于参数 做梯度运算,为折扣因子;
,
其中, 表示对 关于参数 做梯度运算,为折扣因子;
批评家目标网络参数和演员目标网络参数采取软更新方式:,
,
其中, 、 分别为批评家评估网络参数和演员评估网络参数的更新权重。
9.一种面向光伏边缘计算节点的任务处理装置,其特征在于,应用于光伏边缘计算节点网络系统,包括:任务处理队列生成模块,用于基于用户任务卸载队列和迁移任务接收队列,生成各光伏边缘计算节点的任务处理队列;
优化问题构建模块,用于以各光伏边缘计算节点的任务处理量与当前供电能力相匹配为目标,基于预先构建的服务延时模型、服务能耗模型和电能存储量模型,构建处理器资源分配优化子问题和任务迁移优化子问题;任务处理量与当前供电能力相匹配指的是当前光伏边缘计算节点的供电能力与处理器所能支持的最大任务处理能力相匹配;
任务处理模块,用于基于各光伏边缘计算节点的任务处理队列,利用预设多智能体强化学习算法联合求解处理器资源分配优化子问题和任务迁移优化子问题,得到优化后的处理器资源分配策略和任务迁移策略,所述处理器资源分配策略用于确定各光伏边缘计算节点内各处理器是否用于处理任务,所述任务迁移策略用于确定是否将本光伏边缘计算节点中的任务迁移至其他光伏边缘计算节点。
10.一种面向光伏边缘计算节点的任务处理系统,其特征在于,包括存储介质和处理器;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1‑8中任一项所述的方法。