利索能及
我要发布
收藏
专利号: 2023110179869
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于云边协同的时延敏感型智能服务快速响应方法,其特征在于,基于由各智能服务用户、各边缘服务器与控制器、以及云服务器构成的用户密集的边‑云协同系统下,各边、云设备之间相互协作,针对场景中不同优先级的智能服务请求,边‑云协同系统执行以下步骤A‑步骤E,得到待处理智能服务请求队列与CNN分布式推理方法,根据智能服务请求的优先级进行响应:步骤A:针对目标场景,根据各智能服务用户所发送的智能服务请求,选择相应的卷积神经网络的类别,根据数值优化理论,获得卷积层分割策略,将卷积神经网络的每个卷积核沿着高进行分割,并将分割得到的卷积层的不同部分分配给场景中的不同边缘服务器进行并行推理;

步骤B:针对该场景中基于同一类别卷积神经网络的所有智能服务请求,建立一个队列,并根据同一队列中的各智能服务请求对响应时延的敏感程度决定它们的优先级,以决定它们的运行顺序;

步骤C:根据该场景中各类别卷积神经网络的计算量,对每个边缘服务器中的计算资源进行分区,且每个区域内的计算资源只能用于推理某个对应类别的卷积神经网络;

步骤D:针对每个边缘服务器,利用深度强化学习模型对步骤C所划分的各个资源分区中的计算资源进一步划分,形成多个子区域,且每个子区域内的计算资源仅用于推理某个特定类别的卷积神经网络中的某一个特定的卷积层;

步骤E:按顺序运行每个队列中的智能服务请求,直至队列中的所有智能服务请求处理完毕。

2.根据权利要求1所述的基于云边协同的时延敏感型智能服务快速响应方法,其特征在于,步骤A中卷积核分割策略执行如下步骤A1至步骤A4,得到各卷积核对应于各边缘服务器的并行推理策略;

步骤A1:目标场景中具有Nserver个边缘服务器,对于某个特定类别的卷积神经网络,共有Ncon个卷积层,将各个卷积层分割并分别在各个边缘服务器上并行推理;将所有池化层在控制器上进行推理;将所有全连接层在云服务器上推理;对于各个卷积层,将每个边缘服务器的推理结果发送到控制器上进行聚合,并将聚合结果再次返回给各个边缘服务器以供下一个卷积层并行推理,或将聚合结果发送至云服务器以供全连接层进行推理;

步骤A2:智能服务用户所发出的智能服务请求的响应时延如下式:

式中, 表示第n个卷积层对应于第m个边缘服务器的分割比例,floatn表示第n个卷积层的浮点操作数, 表示第m个边缘服务器中分配给第n个卷积层的计算资源数量,γm表示第m个边缘服务器中每单位计算资源的计算速率,Ncon表示卷积层总数;

步骤A3:对每个卷积层的并行推理过程中,各个边缘服务器的推理时延完全相等,将卷积核分割问题转化为如下公式:从而得出卷积层分割策略,即 其中 j∈{1,2,…,

Nserver},且Nserver为边缘服务器的总数;

步骤A4:对于每个边缘服务器,执行步骤A4.1‑步骤A4.1:

步骤A4.1:将由步骤A3计算所得到的分配给该服务器的卷积核大小记为

然后对 向下取整得 并且计算 中多出来的小数部分;将每

个边缘服务器对应的 中多出来的小数部分相加求和,并再加到

步骤A4.2:遍历每个边缘服务器此时对应的推理延迟 并找到其中的最小值而该服务器所分配得到的那部分卷积核的大小记为步骤A4.3:执行 与

步骤A4.4:重复步骤A4.2‑步骤A4.3,直到每个边缘服务器的 中的最大值不小于变化前的步骤A4.5:对于剩余的每个服务器的 都执行一次上述操作,最终得到卷积层分割策略。

3.根据权利要求1所述的基于云边协同的时延敏感型智能服务快速响应方法,其特征在于,步骤B中对于各智能服务用户所发送的智能服务请求,根据其所基于的卷积神经网络类别进行分类,针对一个类别的卷积神经网络建立一个任务队列,将基于同一类别卷积神经网络的各智能服务请求放入相应的任务队列中,根据各智能服务请求的优先级在任务队列中进行排序,每个智能服务请求的优先级由服务提供商预设。

4.根据权利要求1所述的基于云边协同的时延敏感型智能服务快速响应方法,其特征在于,步骤C中针对每个边缘服务器中的计算资源,根据场景中所有类别的卷积神经网络的计算量,按比例进行分区,每个区域中的计算资源仅用于推理一个类别的卷积神经网络。

5.根据权利要求1所述的基于云边协同的时延敏感型智能服务快速响应方法,其特征在于,步骤D中采用深度强化学习模型中的双延迟深度确定性策略算法,执行如下步骤D1至D3,划分各服务器内计算资源子区域,为场景中各类别卷积神经网络中的各卷积层分配计算资源;

步骤D1:利用深度强化学习模型中的双延迟深度确定性策略算法,进行计算资源子区域的划分,对于特定类别的卷积神经网络进行推理,设定状态空间与动作空间如下:其中,ai为动作空间,si为状态空间; 为资源分配比例; 为某个

资源区域中还未分配给子区域的计算资源数量;Ci为该卷积神经网络中还未被推理的卷积层数;

步骤D2:设置奖励函数rewardn如下,对深度强化学习模型进行训练:

式中, 表示第m个边缘服务器与控制器之间的交互时延;

步骤D3:将训练好的深度强化学习模型保存在一个控制器中,在智能服务请求的实际运行过程中,该深度强化学习模型根据网络带宽的波动,以降低卷积神经网络的总推理时延为目标,动态调整计算资源分配策略。

6.根据权利要求1所述的基于云边协同的时延敏感型智能服务快速响应方法,其特征在于,步骤E中每个队列中的智能服务请求按优先级顺序先后运行,每个智能服务请求在运行的过程中,其对应的卷积神经网络中每个卷积层先后在不同的资源子区域内并行推理;

对于同一个类别的卷积神经网络模型,不同智能服务请求的不同卷积层的推理过程是相互独立的。