利索能及
我要发布
收藏
专利号: 2017108073536
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种任务调度的方法,其特征在于,应用于任务调度系统中第一资源管理节点,所述任务调度系统包括:至少一个资源管理节点、多个任务调度节点和多个计算节点,所述第一资源管理节点为所述至少一个资源管理节点中的节点,所述方法包括:接收第一任务调度节点发送的资源获取请求,所述资源获取请求包括待派发的任务所占用的目标资源量,所述第一任务调度节点为所述多个任务调度节点中的任一任务调度节点;

在共享资源池中确定能够提供所述目标资源量的资源的目标计算节点,所述共享资源池记录有所述任务调度系统中计算节点的剩余资源;

向所述第一任务调度节点发送第一资源获取响应,所述第一资源获取响应包括所述目标计算节点的标识,所述第一资源获取响应用于指示所述第一任务调度节点向所述目标计算节点派发所述待派发的任务。

2.根据权利要求1所述的方法,其特征在于,

所述在共享资源池中确定能够提供所述目标资源量的资源的目标计算节点,包括:将所述共享资源池记录的计算节点的剩余资源按照资源量的大小降序排序;

按照排序后的顺序依次检测所述共享资源池记录的每个计算节点的剩余资源是否满足所述目标资源量的资源;

在首次检测出剩余资源满足所述目标资源量的资源的计算节点时,将所述剩余资源满足所述目标资源量的资源的计算节点确定为所述目标计算节点。

3.根据权利要求2所述的方法,其特征在于,在所述按照排序后的顺序依次检测所述共享资源池记录的每个计算节点的剩余资源是否满足所述目标资源量的资源之后,所述方法还包括:当所述共享资源池记录的所有计算节点的剩余资源均不满足所述目标资源量的资源时,向所述第一任务调度节点发送指示资源分配失败的第二资源获取响应,所述第二资源获取响应用于指示所述第一任务调度节点在经过第一预设时长后重新向所述第一资源管理节点发送所述资源获取请求。

4.根据权利要求2所述的方法,其特征在于,每个计算节点的剩余资源包括n种资源类型的子资源,n≥1,所述将所述共享资源池记录的计算节点的剩余资源按照资源量的大小降序排序,包括:根据资源排序值计算公式确定所述共享资源池记录的每个计算节点的资源排序值;

将所述共享资源池记录的计算节点的剩余资源按照资源排序值的大小降序排序;

其中,所述资源排序值计算公式为: 所述S为任一计算节点的资源排序值,所述Si为所述任一计算节点的第i种类型的子资源,所述Wi为所述第i种类型的子资源的权重。

5.根据权利要求4所述的方法,其特征在于,所述每个计算节点的剩余资源包括:剩余中央处理器CPU核数和剩余内存,所述将所述共享资源池记录的计算节点的剩余资源按照资源量的大小降序排序,还包括:在将所述共享资源池记录的计算节点的剩余资源按照资源排序值的大小降序排序之后,当所述共享资源池存在对应的资源排序值相等的第一待处理计算节点,按照剩余CPU核数的大小对所述第一待处理计算节点的剩余资源进行降序排序;

当所述第一待处理计算节点中存在剩余CPU核数相等的第二待处理计算节点,按照剩余内存的大小对所述第二待处理计算节点的剩余资源进行降序排序。

6.根据权利要求1至5任一所述的方法,其特征在于,所述任务调度系统包括:多个资源管理节点,所述第一资源管理节点是所述多个资源管理节点通过选举机制推选出的主资源管理节点。

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

接收所述任务调度系统中多个计算节点发送的多个剩余资源信息,每个剩余资源信息用于指示对应的计算节点的剩余资源;

基于所述多个剩余资源信息更新所述共享资源池。

8.根据权利要求1所述的方法,其特征在于,所述剩余资源信息是对应的计算节点周期性发送的,和/或,所述剩余资源信息是对应的计算节点的剩余资源变化后发送的。

9.根据权利要求1所述的方法,其特征在于,

所述资源获取请求还包括:所述待派发的任务的任务标识,所述第一资源管理响应还包括:所述目标计算节点的标识与任务标识的对应关系;

或者,所述第一资源管理响应还包括:与所述目标计算节点的标识对应的剩余资源量。

10.一种任务调度方法,其特征在于,应用于任务调度系统中第一任务调度节点,所述任务调度系统包括:至少一个资源管理节点、多个任务调度节点和多个计算节点,所述第一任务调度节点为所述多个任务调度节点中的任一任务调度节点,所述方法包括:向第一资源管理节点发送资源获取请求,所述资源获取请求包括待派发的任务所占用的目标资源量,所述第一资源管理节点为所述至少一个资源管理节点中的节点;

接收所述第一资源管理节点发送的第一资源获取响应,所述第一资源获取响应包括目标计算节点的标识,所述目标计算节点是所述第一资源管理节点在共享资源池中确定的能够提供所述目标资源量的资源的计算节点,所述共享资源池记录有所述任务调度系统中计算节点的剩余资源;

根据所述第一资源获取响应,向所述目标计算节点派发所述待派发的任务。

11.根据权利要求10所述的方法,其特征在于,在所述向第一资源管理节点发送资源获取请求之后,所述方法还包括:接收所述第一资源管理节点发送的指示资源分配失败的第二资源获取响应;

根据所述第二资源获取响应,在经过第一预设时长后重新向所述第一资源管理节点发送所述资源获取请求。

12.根据权利要求10所述的方法,其特征在于,所述任务调度系统包括:多个资源管理节点,所述第一资源管理节点是所述多个资源管理节点通过选举机制推选出的主资源管理节点,在所述向第一资源管理节点发送资源获取请求之后,所述方法还包括:检测第二预设时长内是否接收到所述第一资源管理节点发送的资源获取响应;

当所述第二预设时长内未接收到所述第一资源管理节点发送的资源获取响应时,向所述多个资源管理节点中除所述第一资源管理节点之外的资源管理节点发送状态汇报请求,所述状态汇报请求用于指示所述第一资源管理节点宕机,提示所述第一资源管理节点之外的资源管理节点重新通过选举机制推选出的主资源管理节点。

13.根据权利要求10至12任一所述的方法,其特征在于,在所述向所述目标计算节点派发所述待派发的任务之后,所述方法还包括:检测第三预设时长内是否接收到所述目标计算节点发送的任务状态信息;

当所述第三预设时长内未接收到所述目标计算节点发送的任务状态信息时,重新向所述第一资源管理节点发送资源获取请求。

14.一种任务调度系统,其特征在于,所述任务调度系统包括:至少一个资源管理节点、多个任务调度节点和多个计算节点,第一任务调度节点用于向第一资源管理节点发送资源获取请求,所述资源获取请求包括待派发的任务所占用的目标资源量,所述第一任务调度节点为所述多个任务调度节点中的任一任务调度节点,所述第一资源管理节点为所述至少一个资源管理节点中的节点;

所述第一资源管理节点用于在共享资源池中确定能够提供所述目标资源量的资源的目标计算节点,所述共享资源池记录有所述任务调度系统中计算节点的剩余资源;

所述第一资源管理节点还用于向所述第一任务调度节点发送第一资源获取响应,所述第一资源获取响应包括所述目标计算节点的标识,所述第一资源获取响应用于指示所述第一任务调度节点向所述目标计算节点派发所述待派发的任务;

所述第一任务调度节点还用于根据所述第一资源获取响应,向所述目标计算节点派发所述待派发的任务;

所述目标计算节点用于执行所述第一任务调度节点派发的任务。

15.根据权利要求14所述的任务调度系统,其特征在于,

所述目标计算节点还用于在执行所述第一任务调度节点派发的任务的过程中,周期性的向所述第一任务调度节点发送任务状态信息;

所述目标计算节点还用于在n个周期未接收到所述第一任务调度节点发送的任务状态响应时,停止执行所述第一任务调度节点派发的任务,并释放所述第一任务调度节点派发的任务所占用的资源,所述n为预设的大于0的整数。

16.根据权利要求14所述的任务调度系统,其特征在于,

所述第一任务调度节点还用于检测第三预设时长内是否接收到所述目标计算节点发送的任务状态信息;

所述第一任务调度节点还用于在所述第三预设时长内未接收到所述目标计算节点发送的任务状态信息时,重新向所述第一资源管理节点发送资源获取请求。

17.根据权利要求14所述的任务调度系统,其特征在于,所述任务调度系统包括:多个资源管理节点,所述第一资源管理节点是所述多个资源管理节点通过选举机制推选出的主资源管理节点,所述第一任务调度节点还用于检测第二预设时长内是否接收到所述第一资源管理节点发送的资源获取响应;

所述第一任务调度节点还用于在所述第二预设时长内未接收到所述第一资源管理节点发送的资源获取响应时,向所述多个资源管理节点中除所述第一资源管理节点之外的资源管理节点发送状态汇报请求,所述状态汇报请求用于指示所述第一资源管理节点宕机,提示所述第一资源管理节点之外的资源管理节点重新通过选举机制推选出的主资源管理节点;

接收到所述状态汇报请求的资源管理节点用于触发所述第一资源管理节点之外的资源管理节点重新通过选举机制推选出的主资源管理节点。

18.一种任务调度的设备,其特征在于,应用于任务调度系统中第一资源管理节点,所述任务调度系统包括:至少一个资源管理节点、多个任务调度节点和多个计算节点,所述第一资源管理节点为所述至少一个资源管理节点中的节点,所述设备包括:第一接收模块,用于接收第一任务调度节点发送的资源获取请求,所述资源获取请求包括待派发的任务所占用的目标资源量,所述第一任务调度节点为所述多个任务调度节点中的任一任务调度节点;

确定模块,用于在共享资源池中确定能够提供所述目标资源量的资源的目标计算节点,所述共享资源池记录有所述任务调度系统中计算节点的剩余资源;

第一发送模块,用于向所述第一任务调度节点发送第一资源获取响应,所述第一资源获取响应包括所述目标计算节点的标识,所述第一资源获取响应用于指示所述第一任务调度节点向所述目标计算节点派发所述待派发的任务。

19.根据权利要求18所述的设备,其特征在于,所述确定模块,包括:排序单元,用于将所述共享资源池记录的计算节点的剩余资源按照资源量的大小降序排序;

检测单元,用于按照排序后的顺序依次检测所述共享资源池记录的每个计算节点的剩余资源是否满足所述目标资源量的资源;

确定单元,用于在首次检测出剩余资源满足所述目标资源量的资源的计算节点时,将所述剩余资源满足所述目标资源量的资源的计算节点确定为所述目标计算节点。

20.根据权利要求19所述的设备,其特征在于,所述设备还包括:第二发送模块,用于当所述共享资源池记录的所有计算节点的剩余资源均不满足所述目标资源量的资源时,向所述第一任务调度节点发送指示资源分配失败的第二资源获取响应,所述第二资源获取响应用于指示所述第一任务调度节点在经过第一预设时长后重新向所述第一资源管理节点发送所述资源获取请求。

21.根据权利要求19所述的设备,其特征在于,每个计算节点的剩余资源包括n种资源类型的子资源,n≥1,所述排序单元,包括:

计算子单元,用于根据资源排序值计算公式确定所述共享资源池记录的每个计算节点的资源排序值;

第一排序子单元,用于将所述共享资源池记录的计算节点的剩余资源按照资源排序值的大小降序排序;

其中,所述资源排序值计算公式为: 所述S为任一计算节点的资源排序值,所述Si为所述任一计算节点的第i种类型的子资源,所述Wi为所述第i种类型的子资源的权重。

22.根据权利要求21所述的设备,其特征在于,所述每个计算节点的剩余资源包括:剩余中央处理器CPU核数和剩余内存,所述排序单元,还包括:

第二排序子单元,用于在将所述共享资源池记录的计算节点的剩余资源按照资源排序值的大小降序排序之后,当所述共享资源池存在对应的资源排序值相等的第一待处理计算节点,按照剩余CPU核数的大小对所述第一待处理计算节点的剩余资源进行降序排序;

第三排序子单元,用于当所述第一待处理计算节点中存在剩余CPU核数相等的第二待处理计算节点,按照剩余内存的大小对所述第二待处理计算节点的剩余资源进行降序排序。

23.根据权利要求18至22任一所述的设备,其特征在于,所述任务调度系统包括:多个资源管理节点,所述第一资源管理节点是所述多个资源管理节点通过选举机制推选出的主资源管理节点。

24.根据权利要求18所述的设备,其特征在于,所述设备还包括:第二接收模块,用于接收所述任务调度系统中多个计算节点发送的多个剩余资源信息,每个剩余资源信息用于指示对应的计算节点的剩余资源;

更新模块,用于基于所述多个剩余资源信息更新所述共享资源池。

25.根据权利要求18所述的设备,其特征在于,所述剩余资源信息是对应的计算节点周期性发送的,和/或,所述剩余资源信息是对应的计算节点的剩余资源变化后发送的。

26.根据权利要求18所述的设备,其特征在于,

所述资源获取请求还包括:所述待派发的任务的任务标识,所述第一资源管理响应还包括:所述目标计算节点的标识与任务标识的对应关系;

或者,所述第一资源管理响应还包括:与所述目标计算节点的标识对应的剩余资源量。

27.一种任务调度设备,其特征在于,应用于任务调度系统中第一任务调度节点,所述任务调度系统包括:至少一个资源管理节点、多个任务调度节点和多个计算节点,所述第一任务调度节点为所述多个任务调度节点中的任一任务调度节点,所述设备包括:第一发送模块,用于向第一资源管理节点发送资源获取请求,所述资源获取请求包括待派发的任务所占用的目标资源量,所述第一资源管理节点为所述至少一个资源管理节点中的节点;

第一接收模块,用于接收所述第一资源管理节点发送的第一资源获取响应,所述第一资源获取响应包括目标计算节点的标识,所述目标计算节点是所述第一资源管理节点在共享资源池中确定的能够提供所述目标资源量的资源的计算节点,所述共享资源池记录有所述任务调度系统中计算节点的剩余资源;

派发模块,用于根据所述第一资源获取响应,向所述目标计算节点派发所述待派发的任务。

28.根据权利要求27所述的设备,其特征在于,所述设备还包括:第二接收模块,用于接收所述第一资源管理节点发送的指示资源分配失败的第二资源获取响应;

第二发送模块,用于根据所述第二资源获取响应,在经过第一预设时长后重新向所述第一资源管理节点发送所述资源获取请求。

29.根据权利要求27所述的设备,其特征在于,所述任务调度系统包括:多个资源管理节点,所述第一资源管理节点是所述多个资源管理节点通过选举机制推选出的主资源管理节点,所述设备还包括:第一检测模块,用于检测第二预设时长内是否接收到所述第一资源管理节点发送的资源获取响应;

第三发送模块,用于当所述第二预设时长内未接收到所述第一资源管理节点发送的资源获取响应时,向所述多个资源管理节点中除所述第一资源管理节点之外的资源管理节点发送状态汇报请求,所述状态汇报请求用于指示所述第一资源管理节点宕机,提示所述第一资源管理节点之外的资源管理节点重新通过选举机制推选出的主资源管理节点。

30.根据权利要求27至29任一所述的设备,其特征在于,所述设备还包括:第二检测模块,用于检测第三预设时长内是否接收到所述目标计算节点发送的任务状态信息;

第四发送模块,用于当所述第三预设时长内未接收到所述目标计算节点发送的任务状态信息时,重新向所述第一资源管理节点发送资源获取请求。

31.一种计算机设备,其特征在于,包括处理器和存储器,

其中,

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序,实现权利要求1至8任一所述的任务调度的方法。

32.一种计算机设备,其特征在于,包括处理器和存储器,

其中,

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序,实现权利要求9至12任一所述的任务调度的方法。