利索能及
我要发布
收藏
专利号: 2019109068375
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种任务调度方法,其特征在于,所述方法包括:获取多个分区,每个分区包括集群系统中用于执行任务的一个或多个处理单元,每个分区包括的每个处理单元加载有参考数据集,各个分区包括的处理单元加载的参考数据集不同,所述各个分区包括的处理单元加载的参考数据集的并集为数据中心中的全量参考数据;

将所述任务划分成与所述多个分区一一对应的多个子任务;

对于所述多个子任务中的任一子任务,从所述任一子任务对应的分区包括的一个或多个处理单元中选择一个处理单元;

将所述任一子任务下发至选择的处理单元,以指示接收到子任务的处理单元基于自身加载的参考数据集执行相应子任务。

2.如权利要求1所述的方法,其特征在于,所述方法还包括:创建所述多个分区;

确定所述集群系统中用于执行任务的多个处理单元;

从确定的处理单元中确定所述多个分区中每个分区包括的一个或多个处理单元;

将所述全量参考数据进行划分,得到与所述多个分区一一对应的多个参考数据集;

控制每个分区包括的一个或多个处理单元中的每个处理单元加载对应的参考数据集。

3.如权利要求2所述的方法,其特征在于,所述创建所述多个分区,包括:获取所述全量参考数据的数量;

获取每个处理单元能够加载的参考数据的最大数量;

确定所述全量参考数据的数量和所述最大数量之间的比值;

根据所述全量参考数据的数量和所述最大数量之间的比值,创建所述多个分区。

4.如权利要求2所述的方法,其特征在于,所述确定所述集群系统中用于执行任务的多个处理单元,包括:获取所述集群系统的加密狗能力;

获取所述集群系统中部署的每个处理单元的加密狗能力;

确定所述集群系统的加密狗能力和每个处理单元的加密狗能力之间的比值;

根据确定的比值,从所述集群系统中部署的所有处理单元中选择所述用于执行任务的多个处理单元。

5.如权利要求2所述的方法,其特征在于,所述将所述全量参考数据进行划分之前,还包括:获取用于执行任务所需的全量参考数据的版本号;

所述将所述全量参考数据进行划分,包括:将获取的版本对应的全量参考数据进行划分。

6.如权利要求2所述的方法,其特征在于,所述创建所述多个分区之前,还包括:获取所述集群系统中所有处理单元能够加载的参考数据的总量;

当获取的总量大于所述全量参考数据的数量时,执行创建所述多个分区的操作。

7.一种任务调度装置,其特征在于,所述装置包括:第一获取模块,用于获取多个分区,每个分区包括集群系统中用于执行任务的一个或多个处理单元,每个分区包括的每个处理单元加载有参考数据集,各个分区包括的处理单元加载的参考数据集不同,所述各个分区包括的处理单元加载的参考数据集的并集为数据中心中的全量参考数据;

第一划分模块,用于将所述任务划分成与所述多个分区一一对应的多个子任务;

下发模块包括第二选择子模块和下发子模块,所述第二选择子模块,用于对于所述多个子任务中的任一子任务,从所述任一子任务对应的分区包括的一个或多个处理单元中选择一个处理单元;

所述下发子模块,用于将所述任一子任务下发至选择的处理单元,以指示接收到子任务的处理单元基于自身加载的参考数据集执行相应子任务。

8.如权利要求7所述的装置,其特征在于,所述装置还包括:创建模块,用于创建所述多个分区;

第一确定模块,用于确定所述集群系统中用于执行任务的多个处理单元;

第二确定模块,用于从确定的处理单元中确定所述多个分区中每个分区包括的一个或多个处理单元;

第二划分模块,用于将所述全量参考数据进行划分,得到与所述多个分区一一对应的多个参考数据集;

加载模块,用于控制每个分区包括的一个或多个处理单元中的每个处理单元加载对应的参考数据集。

9.如权利要求8所述的装置,其特征在于,所述创建模块,包括:第一获取子模块,用于获取所述全量参考数据的数量;

第二获取子模块,用于获取每个处理单元能够加载的参考数据的最大数量;

第一确定子模块,用于确定所述全量参考数据的数量和所述最大数量之间的比值;

创建子模块,用于根据所述全量参考数据的数量和所述最大数量之间的比值,创建所述多个分区。

10.如权利要求8所述的装置,其特征在于,所述第一确定模块,包括:第三获取子模块,用于获取所述集群系统的加密狗能力;

第四获取子模块,用于获取所述集群系统中部署的每个处理单元的加密狗能力;

第二确定子模块,用于确定所述集群系统的加密狗能力和每个处理单元的加密狗能力之间的比值;

第一选择子模块,用于根据确定的比值,从所述集群系统中部署的所有处理单元中选择所述用于执行任务的多个处理单元。

11.如权利要求8所述的装置,其特征在于,所述装置还包括:第二获取模块,用于获取用于执行任务所需的全量参考数据的版本号;

所述第二划分模块,包括:

划分子模块,用于将获取的版本对应的全量参考数据进行划分。

12.如权利要求8所述的装置,其特征在于,所述装置还包括:第三获取模块,用于获取所述集群系统中所有处理单元能够加载的参考数据的总量;

所述创建模块,还用于当获取的总量大于所述全量参考数据的数量时,执行创建所述多个分区的操作。

13.一种任务调度装置,其特征在于,所述装置包括:处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行上述权利要求1至6中的任一项权利要求所述的方法的步骤。

14.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑6任一项方法的步骤。