利索能及
我要发布
收藏
专利号: 2024116242358
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,包括:获取边缘环境中的所有节点;

将边缘环境中的一个节点作为参数服务器,其他节点作为计算节点;

根据获取的目标神经网络模型中操作符的操作强度均值,统计计算密集型操作符占比和存储访问密集型操作符占比;

在计算节点上运行算力资源的单一资源密集型负载,获取负载的训练样本总数、算力资源利用率和负载完成时间,所述算力资源包括CPU性能、GPU性能、内存性能和磁盘性能;

根据负载的训练样本总数以及负载完成时间计算任务执行强度值;

根据算力资源利用率以及任务执行强度值计算算力资源评估值;

根据所述算力资源,将计算密集型操作符占比和存储访问密集型操作符占比作为权重调整因子,确定畸变雷达图;

将所述算力资源评估值标记在畸变雷达图中并计算得到计算节点的算力资源与任务匹配度比值;

基于计算节点的算力资源与任务匹配度比值,利用参数服务器将最慢节点中的样本部分负载分发至最快节点,以最小化最慢节点与最快节点完成迭代的时间间隔为优化目标建立优化模型,计算得到样本负载分配优化方案。

2.根据权利要求1所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,根据获取的目标神经网络模型中操作符的操作强度均值,统计计算密集型操作符占比和存储访问密集型操作符占比的方法包括:将高于所述操作强度均值的操作符作为计算密集型操作符;

将低于所述操作强度均值的操作符作为存储密集型操作符;

根据操作符的操作强度均值以及操作符的总数,统计计算密集型操作符占比和存储访问密集型操作符占比。

3.根据权利要求1或2所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,根据负载的训练样本总数以及负载完成时间计算任务执行强度值,其中,将所述任务执行强度值的计算式表示为:(3);

式中,Ew,d表示计算节点d在运行负载w时的任务执行强度值,Capacityw表示负载w的训练样本总数,Timew, d表示计算节点d执行负载w的负载完成时间。

4.根据权利要求3所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,根据算力资源利用率以及任务执行强度值计算算力资源评估值,其中,将所述算力资源评估值的计算式表示为:(4);

式中,N表示算力资源的性能评估值,w表示负载,W表示单一资源密集型负载集,d表示计算节点,D表示计算节点集合, 表示计算节点d在运行负载w时的算力资源利用率,表示计算节点d在运行负载w时的任务执行强度值,n表示单一资源密集型负载集的负载总数。

5.根据权利要求4所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,根据所述算力资源,将计算密集型操作符占比和存储访问密集型操作符占比作为权重调整因子,确定畸变雷达图,包括:将所述算力资源划分为计算能力和存储能力,所述计算能力包括CPU性能和GPU性能,所述存储能力包括内存性能和磁盘性能;

根据计算能力和存储能力构建雷达图;

将计算密集型操作符占比和存储访问密集型操作符占比作为权重调整因子,对所述雷达图进行畸变,得到畸变雷达图。

6.根据权利要求5所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,将所述算力资源评估值标记在畸变雷达图中并计算得到计算节点的算力资源与任务匹配度比值,其中,将所述算力资源与任务匹配度比值的计算式表示为:(6);

式中,m表示算力资源与任务匹配度比值,SCGMD表示算力资源CPU性能C、GPU性能G、内存性能M和磁盘性能D标准化后的算力资源评估值标记点围成的面积,Srador表示畸变雷达图的总面积。

7.根据权利要求6所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,基于计算节点的算力资源与任务匹配度比值,利用参数服务器将最慢节点中的样本部分负载分发至最快节点,以最小化最慢节点与最快节点完成迭代的时间间隔为优化目标建立优化模型,计算得到样本负载分配优化方案,包括:根据所有计算节点的算力资源与任务匹配度比值,利用参数服务器将最慢节点中的样本部分负载分发至最快节点,获得最快节点迭代训练完成时间和最慢节点迭代训练完成时间与最快节点的样本负载和最慢节点的样本负载;

根据最快节点迭代训练完成时间和最慢节点迭代训练完成时间与最快节点的样本负载和最慢节点的样本负载,以最小化最快节点与最慢节点完成迭代的时间间隔为目标建立优化模型,获得样本负载分配优化方案。

8.根据权利要求7所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,根据计算节点的算力资源与任务匹配度比值,利用参数服务器将最慢节点中的样本部分负载分发至最快节点,其中,将利用参数服务器分发给计算节点的样本负载表示为:(7);

式中,fd表示分发给计算节点d的样本负载,md表示计算节点d的算力资源与任务匹配度,F表示负载的训练样本总数,m表示算力资源与任务匹配度比值。

9.根据权利要求7所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,在利用参数服务器将最慢节点中的样本部分负载分发至最快节点的过程中,负载量决定节点迭代训练完成时间,其中,将节点迭代训练完成时间T与负载量f之间的关系表示为:(8);

式中,T表示节点迭代训练完成时间,f表示负载量,表示完成时间与负载量之间的线性关系的斜率参数,表示计算节点的完成时间的偏移量。

10.根据权利要求9所述的面向边缘分布式训练的资源动态分析与样本负载调度优化方法,其特征在于,根据最快节点迭代训练完成时间和最慢节点迭代训练完成时间与最快节点的样本负载和最慢节点的样本负载,以最小化最快节点与最慢节点完成迭代的时间间隔为目标,其中,将优化目标表示为:(9);

式中,表示完成时间与负载量之间的线性关系的斜率参数, 表示最快节点迭代训练完成时间,表示从最慢节点分配给最快节点的部分样本负载量,表示计算节点的完成时间的偏移量, 表示最慢节点迭代训练完成时间,min表示最小化。