利索能及
我要发布
收藏
专利号: 2019100009102
申请人: 中国移动通信有限公司研究院
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种深度学习方法,其特征在于,包括:获取用户提交的深度学习任务;

将所述深度学习任务分配到与所述深度学习任务的类型对应的任务队列中;

调度第一资源子集群中的资源,执行第一任务队列中的深度学习任务;

通过大数据平台的控制节点,调度第二资源子集群中的资源,执行第二任务队列中的深度学习任务;

其中,所述第一任务队列中的深度学习任务的类型是非基于大数据平台,所述第二任务队列中的深度学习任务的类型是基于大数据平台。

2.根据权利要求1所述的方法,其特征在于,所述通过大数据平台的控制节点,调度第二资源子集群中的资源,执行第二任务队列中的深度学习任务,包括:将所述第二任务队列中的深度学习任务提交给所述大数据平台的控制节点,由所述大数据平台的控制节点,调度所述第二资源子集群中的资源,执行所述第二任务队列中的深度学习任务。

3.根据权利要求1所述的方法,其特征在于,所述执行第一任务队列中的深度学习任务,包括:按照先进先出的方式依次执行所述第一任务队列中的深度学习任务;

和/或,

所述执行第二任务队列中的深度学习任务,包括:按照先进先出的方式依次执行所述第二任务队列中的深度学习任务。

4.根据权利要求1所述的方法,其特征在于,当所述第一资源子集群中的资源无法满足所述第一任务队列中的深度学习任务的需求时,所述方法还包括:调度第三资源子集群中的资源,执行所述第一任务队列中的深度学习任务;

或者,

当所述第二资源子集群中的资源无法满足所述第二任务队列中的深度学习任务的需求时,所述方法还包括:接收所述大数据平台的控制节点发送的资源请求消息;

根据所述资源请求消息,从第四资源子集群中选取资源分配至所述第二资源子集群中;

通过所述大数据平台的控制节点,调度分配资源后的第二资源子集群中的资源,执行所述第二任务队列中的深度学习任务;

其中,所述第三资源子集群中的资源为候选资源,所述第四资源子集群中的资源为候选资源。

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述资源为图形处理器GPU资源。

6.一种深度学习装置,其特征在于,包括:获取模块,用于获取用户提交的深度学习任务;

分配模块,用于将所述深度学习任务分配到与所述深度学习任务的类型对应的任务队列中;

第一执行模块,用于调度第一资源子集群中的资源,执行第一任务队列中的深度学习任务;

第二执行模块,用于通过大数据平台的控制节点,调度第二资源子集群中的资源,执行第二任务队列中的深度学习任务;

其中,所述第一任务队列中的深度学习任务的类型是非基于大数据平台,所述第二任务队列中的深度学习任务的类型是基于大数据平台。

7.根据权利要求6所述的装置,其特征在于,所述第二执行模块具体用于:将所述第二任务队列中的深度学习任务提交给所述大数据平台的控制节点,由所述大数据平台的控制节点,调度所述第二资源子集群中的资源,执行所述第二任务队列中的深度学习任务。

8.根据权利要求6所述的装置,其特征在于,所述第一执行模块具体用于:按照先进先出的方式依次执行所述第一任务队列中的深度学习任务;

和/或,

所述第二执行模块具体用于:

按照先进先出的方式依次执行所述第二任务队列中的深度学习任务。

9.一种深度学习系统,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的深度学习方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的深度学习方法的步骤。