1.一种基于用户作业类型及节点性能偏向性的集群资源调度方法,其特征在于,包括以下步骤:
1)Master节点收集集群中各节点的静态指标值,计算各节点静态性能;具体包括以下步骤:
1.1)Master节点收集集群中各节点静态性能指标,静态性能指标包括CPU核数、CPU速度、磁盘容量和内存大小;
1.2)Master节点计算集群中各节点的静态性能StaticResource:StaticResource=α1Cores+α2Memory+αsStore+α4CpuSpeed (1)其中α1,α2,α3,α4分别为CPU核数、内存容量、磁盘容量和CPU速度静态指标的权值,并且α1+α2+α3+α4=1;α1,α2,α3和α4的值使用层次分析法计算得到;
2)Master节点计算作业队列中当前将运行的用户作业类型;具体包括以下步骤:2.1)Master节点获取完成当前即将运行的用户作业所需的CPU核数requiredCores和内存数量requiredMemory;
2.2)Master节点确定用户作业类型UAT:
3)Master节点采集集群中各节点的动态状态数据,计算各节点的动态性能;具体包括以下步骤:3.1)集群各节点采集自己的动态性能指标,包括CPU剩余率、内存剩余率、磁盘容量剩余率和当前磁盘读写速度;
3.2)Master节点通过心跳信息收集各节点的动态性能指标;
3.3)Master节点计算集群中各节点的动态性能DynamicResource:DynamicResource=β1AvaiCores+β2AvaiMemory+β3AvaiSSdSpd+β4AvaiSSd (3)其中β1,β2,β3,β4分别为CPU剩余率、内存剩余率、磁盘当前的读写速度和磁盘剩余率的权值,并且β1+β2+β3+β4=1,β1,β2,β3和β4的初值使用层次分析法计算得到,同时β1和β2的数值根据用户作业类型进行调整;
4)根据各节点的动态与静态性能,Master节点计算各节点的性能偏向性;上述节点的性能偏向NPT的计算公式如下:NPT=αStaticResource+βDynamicResource (4)其中α和β分别是StaticResource和DynamicResource的权值,使用层次分析法计算得到;
5)Master节点对各节点的性能偏向值进行排序,从优先级高的节点开始为用户作业分配适合的节点以满足作业需要的内存和CPU核数要求,作业完成,Master节点返回作业的执行结果;
6)若所有用户作业执行完成,系统运行结束;否则返回步骤2)。
2.根据权利要求1所述的一种基于用户作业类型及节点性能偏向性的集群资源调度方法,其特征在于,当有新节点加入到集群,Master节点计算新节点的性能偏向性,执行步骤
5)。