利索能及
我要发布
收藏
专利号: 2024104315926
申请人: 广东琴智科技研究院有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种作业调度方法,其特征在于,应用于智能计算云操作系统,所述智能计算云操作系统用于调度、执行、监控和管理提交到系统的作业;所述作业包括各种类型的数据处理任务;所述作业调度方法包括:接收用户针对目标作业所提交的作业请求;所述作业请求至少包括:所述目标作业的作业内容描述和/或资源需求信息;

通过动态队列模型,分析所述作业请求,以将所述目标作业提交到对应的目标作业调度表中;其中,所述智能计算云操作系统中设置有多个作业调度表;多个作业调度表中分别设置有适合自身表内各种业务的特定调度机制;

通过所述特定调度机制对应的智能调度模型,根据所述目标作业的业务特性将所述目标作业分配到对应的可用资源节点中;其中,所述智能计算云操作系统中部署有多个智能调度模型;多个智能调度模型分别与不同作业调度表相对应;多个智能调度模型中设置有适合自身对应的作业调度表内各种业务的特定调度机制;

在可用资源节点中根据所述作业内容描述中的作业内容以及作业参数执行相应的作业任务,以完成所述目标作业的作业请求;

所述动态队列模型至少包括:接收层、作业分析层、系统状态监测层、动态调度层;

所述通过动态队列模型,分析所述作业请求,以将所述目标作业提交到对应的目标作业调度表中,包括:通过接收层,将待处理的所述作业请求加入到待处理队列中;

通过作业分析层,在待处理队列中,对所述目标作业的作业内容描述和/或资源需求信息进行属性分析,以获取所述目标作业所属的目标业务类型;

通过系统状态监测层,实时监测所述智能计算云操作系统,以获得实时系统资源状况;

所述实时系统资源状况至少包括:系统资源利用率、实时负载状态、可用资源状态;

通过动态调度层,基于所述实时系统资源状况以及所述目标业务类型,将待处理队列中所述目标作业分配到对应的目标作业调度表;所述目标作业调度表中的特定调度机制与所述目标业务类型相匹配;

所述智能调度模型至少包括:作业特性分析层、优先级配置层、资源节点分配层;

所述通过所述特定调度机制对应的智能调度模型,根据所述目标作业的业务特性将所述目标作业分配到对应的可用资源节点中,包括:通过作业特性分析层,对所述目标作业的作业内容描述和/或资源需求信息进行特性分析,以获取所述目标作业的业务特性;所述业务特性至少包括:计算密集型、资源使用类型、资源利用率、时间敏感性、任务重要性;

通过优先级配置层,采用所述特定调度机制中的调度顺序配置规则,结合所述业务特性对所述目标作业进行分析,以得到所述目标作业的调度顺位;

通过资源节点分配层,基于所述目标作业的调度顺位,从当前监测到的可调用的实时系统资源节点中,动态选择所述目标作业对应的可用资源节点,并将所述目标作业的作业请求插入到所选的可用资源节点的任务执行队列中;

所述智能调度模型至少包括:作业特性分析层、优先级配置层、资源节点分配层;

所述通过所述特定调度机制对应的智能调度模型,根据所述目标作业的业务特性将所述目标作业分配到对应的可用资源节点中,包括:通过作业特性分析层,对所述目标作业的作业内容描述和/或资源需求信息进行特性分析,以获取所述目标作业的业务特性;所述业务特性至少包括:计算密集型、资源使用类型、资源利用率、时间敏感性、任务重要性;

通过优先级配置层,采用所述特定调度机制中的调度顺序配置规则,结合所述业务特性对所述目标作业进行分析,以得到所述目标作业的调度顺位;

通过资源节点分配层,基于所述目标作业的调度顺位,从当前监测到的可调用的实时系统资源节点中,动态选择所述目标作业对应的可用资源节点,并将所述目标作业的作业请求插入到所选的可用资源节点的任务执行队列中;

所述通过优先级配置层,采用所述特定调度机制中的调度顺序配置规则,结合所述业务特性对所述目标作业进行分析,以得到所述目标作业的调度顺位,包括:若所述目标作业的业务特性为I/O密集型,并且所述特定调度机制为最短作业优先,则获取所述目标作业的估计执行时间;所述估计执行时间中包含执行时间以及I/O等待时间;其中,计算第i个作业的估计执行时间的公式为: ti为第i个作业的执行时间,wIO为第i个作业的I/O端口等待时间,tj为在第i个业务之前的第j个作业的总估计执行时间, 为第i个业务之前的所有作业的总估计执行时间,Ti为第i个作业的总估计执行时间;

根据所述目标作业在所处目标作业调度表中的估计执行时间的排序位次,确定所述目标作业的调度顺位;其中,估计执行时间越短的作业,对应的调度顺位越高。

2.根据权利要求1所述的作业调度方法,其特征在于,作业调度表中的特定调度机制采用以下至少一种调度机制:最短作业优先、优先级调度、轮转调度、多级队列调度、先来先服务、最佳适应调度;

所述目标作业调度表中的特定调度机制与所述目标业务类型相匹配,至少包括以下之一:所述目标业务类型为响应时间敏感的业务,对应的所述目标作业调度表中的特定调度机制为最短作业优先;

所述目标业务类型为需要优先处理的重要业务或紧急任务,对应的所述目标作业调度表中的特定调度机制为优先级调度;

所述目标业务类型为资源共享业务,对应的所述目标作业调度表中的特定调度机制为轮转调度;

所述目标业务类型为多类型组合业务,对应的所述目标作业调度表中的特定调度机制为多级队列调度;

所述目标业务类型为无特殊要求且时序不敏感的业务,对应的所述目标作业调度表中的特定调度机制为先来先服务;

所述目标业务类型为资源利用率高或系统负载较重的业务,对应的所述目标作业调度表中的特定调度机制为最佳适应性调度。

3.根据权利要求1所述的作业调度方法,其特征在于,所述通过优先级配置层,采用所述特定调度机制中的调度顺序配置规则,结合所述业务特性对所述目标作业进行分析,以得到所述目标作业的调度顺位,包括:若所述目标作业的业务特性为计算密集型,并且所述特定调度机制为优先级调度,则通过资源预测模型,预测未来所选时段下的空闲可用硬件计算资源量;

根据预测得到的空闲可用硬件计算资源量,对所述目标作业进行计算资源需求量的适配度分析,以获得所述目标作业的可执行时间段;

基于所述目标作业的可执行时间段,确定所述目标作业插入到对应的执行时间优先级;

其中,所述目标作业的计算资源需求量与某一时段下的空闲可用硬件计算资源量之间的差值越小,所述目标作业配置到所述某一时段下的执行时间优先级的概率越高。

4.根据权利要求1所述的作业调度方法,其特征在于,所述根据所述目标作业在所处目标作业调度表中的估计执行时间的排序位次,确定所述目标作业的调度顺位之后,还包括:检测是否接收到占位指令;所述占位指令基于任务重要性和/或紧急程度生成;

接收到所述占位指令之后,基于重新计算所述目标作业的估计执行时间,并基于重新计算的估计执行时间进行调度顺位的重排序;其中,重新计算第i个作业的估计执行时间的公式为:其中,λ是由任务重要性和/或紧急程度决定的占位因子,所述占位因子的数值大小与任务重要性和/或紧急程度呈正比。

5.一种智能计算云操作系统,其特征在于,所述智能计算云操作系统用于调度、执行、监控和管理提交到系统的作业;所述作业包括各种类型的数据处理任务;所述智能计算云操作系统包括:获取单元,被配置为接收用户针对目标作业所提交的作业请求;所述作业请求至少包括:目标作业的作业内容描述和/或资源需求信息;

分析单元,被配置为通过动态队列模型,分析所述作业请求,以将所述目标作业提交到对应的目标作业调度表中;其中,所述智能计算云操作系统中设置有多个作业调度表;多个作业调度表中分别设置有适合自身表内各种业务的特定调度机制;

分配单元,被配置为通过所述特定调度机制对应的智能调度模型,根据所述目标作业的业务特性将所述目标作业分配到对应的可用资源节点中;其中,所述智能计算云操作系统中部署有多个智能调度模型;多个智能调度模型分别与不同作业调度表相对应;多个智能调度模型中设置有适合自身对应的作业调度表内各种业务的特定调度机制;

执行单元,被配置为在可用资源节点中根据所述作业内容描述中的作业内容以及作业参数执行相应的作业任务,以完成所述目标作业的作业请求;

所述动态队列模型至少包括:接收层、作业分析层、系统状态监测层、动态调度层;

所述通过动态队列模型,分析所述作业请求,以将所述目标作业提交到对应的目标作业调度表中,包括:通过接收层,将待处理的所述作业请求加入到待处理队列中;

通过作业分析层,在待处理队列中,对所述目标作业的作业内容描述和/或资源需求信息进行属性分析,以获取所述目标作业所属的目标业务类型;

通过系统状态监测层,实时监测所述智能计算云操作系统,以获得实时系统资源状况;

所述实时系统资源状况至少包括:系统资源利用率、实时负载状态、可用资源状态;

通过动态调度层,基于所述实时系统资源状况以及所述目标业务类型,将待处理队列中所述目标作业分配到对应的目标作业调度表;所述目标作业调度表中的特定调度机制与所述目标业务类型相匹配;

所述智能调度模型至少包括:作业特性分析层、优先级配置层、资源节点分配层;

所述通过所述特定调度机制对应的智能调度模型,根据所述目标作业的业务特性将所述目标作业分配到对应的可用资源节点中,包括:通过作业特性分析层,对所述目标作业的作业内容描述和/或资源需求信息进行特性分析,以获取所述目标作业的业务特性;所述业务特性至少包括:计算密集型、资源使用类型、资源利用率、时间敏感性、任务重要性;

通过优先级配置层,采用所述特定调度机制中的调度顺序配置规则,结合所述业务特性对所述目标作业进行分析,以得到所述目标作业的调度顺位;

通过资源节点分配层,基于所述目标作业的调度顺位,从当前监测到的可调用的实时系统资源节点中,动态选择所述目标作业对应的可用资源节点,并将所述目标作业的作业请求插入到所选的可用资源节点的任务执行队列中;

所述智能调度模型至少包括:作业特性分析层、优先级配置层、资源节点分配层;

所述通过所述特定调度机制对应的智能调度模型,根据所述目标作业的业务特性将所述目标作业分配到对应的可用资源节点中,包括:通过作业特性分析层,对所述目标作业的作业内容描述和/或资源需求信息进行特性分析,以获取所述目标作业的业务特性;所述业务特性至少包括:计算密集型、资源使用类型、资源利用率、时间敏感性、任务重要性;

通过优先级配置层,采用所述特定调度机制中的调度顺序配置规则,结合所述业务特性对所述目标作业进行分析,以得到所述目标作业的调度顺位;

通过资源节点分配层,基于所述目标作业的调度顺位,从当前监测到的可调用的实时系统资源节点中,动态选择所述目标作业对应的可用资源节点,并将所述目标作业的作业请求插入到所选的可用资源节点的任务执行队列中;

所述通过优先级配置层,采用所述特定调度机制中的调度顺序配置规则,结合所述业务特性对所述目标作业进行分析,以得到所述目标作业的调度顺位,包括:若所述目标作业的业务特性为I/O密集型,并且所述特定调度机制为最短作业优先,则获取所述目标作业的估计执行时间;所述估计执行时间中包含执行时间以及I/O等待时间;其中,计算第i个作业的估计执行时间的公式为: ti为第i个作业的执行时间,wIO为第i个作业的I/O端口等待时间,tj为在第i个业务之前的第j个作业的总估计执行时间, 为第i个业务之前的所有作业的总估计执行时间,Ti为第i个作业的总估计执行时间;

根据所述目标作业在所处目标作业调度表中的估计执行时间的排序位次,确定所述目标作业的调度顺位;其中,估计执行时间越短的作业,对应的调度顺位越高。

6.一种智能计算平台,其特征在于,所述智能计算平台包括:

至少一个处理器、存储器和输入输出单元;

其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1至4中任一项所述的作业调度方法。