1.一种云分析系统中的任务监测方法,其特征在于,该方法包括,为来自用户任务请求中的任务附加标签信息,该标签信息至少包括该任务的处理主体名称、以及实际耗时;
记录该任务进入当前处理主体的时间戳、离开当前处理主体的时间戳;根据所述进入时间戳和离开时间戳,计算当前处理主体的实际耗时,在所述标签信息中记录当前处理主体名称、以及实际耗时;
判断该任务的所有处理是否结束,如果没有,则进入下一处理主体,返回执行所述记录该任务进入当前处理主体的时间戳、离开当前处理主体的时间戳的步骤,直至该任务的所有处理结束。
2.如权利要求1所述的方法,其特征在于,所述标签信息还包括耗时阈值和报警标志,所述根据所述进入时间戳和离开时间戳,计算当前处理主体的实际耗时,进一步包括,判断实际耗时是否大于所述耗时阈值,如果实际耗时大于耗时阈值,则将标签信息中该处理主体对应的报警标志设置为报警状态。
3.如权利要求2所述的方法,其特征在于,该方法进一步包括,当所述任务的所有处理结束时,根据该任务标签信息中的报警标志统计所有处理主体是否存在报警,如果是,则上报该任务的任务信息和标签信息。
4.如权利要求3所述的方法,其特征在于,所述云分析系统至少包括调度节点和计算节点,所述任务的处理主体为调度节点和计算节点;
所述处理主体名称为节点名称,
所述为来自用户任务请求中的任务附加标签信息包括,调度节点通过虚拟IP地址接收来自用户的任务分析请求,为任务分析请求中的任务附加所述标签信息;
所述记录该任务进入当前处理主体的时间戳、离开当前处理主体的时间戳包括,按照云分析系统时间,记录该任务进入调度节点的时间戳,调度节点按照调度算法将该任务下发至计算节点,记录该任务离开调度节点的时间戳;
所述根据所述进入时间戳和离开时间戳,计算当前处理主体的实际耗时包括,根据所述进入调度节点时间戳和离开调度节点时间戳,计算该调度节点的实际耗时,在所述标签信息中记录该调度节点名称、以及其实际耗时;
计算节点接收来自调度节点下发的任务,按照云分析系统时间,记录该任务进入计算节点的时间戳,计算节点对任务进行处理,当处理结束时,记录该任务离开计算节点的时间戳;
根据所述进入计算节点时间戳和离开计算节点时间戳,计算该计算节点的实际耗时,在所述标签信息中记录该计算节点名称、以及其实际耗时;
所述判断该任务的所有处理是否结束包括,当计算节点的处理结束时,计算节点通过心跳向调度节点反馈该任务的任务信息以及标签信息。
5.如权利要求4所述的方法,其特征在于,所述在所述标签信息中记录当前处理主体名称、以及实际耗时,进一步包括,判断该任务在调度节点的实际耗时是否大于该调度节点的耗时阈值,如果是,则将标签信息中该调度节点对应的报警标志设置为报警状态;
判断该任务在计算节点的实际耗时是否大于该计算节点的耗时阈值,如果是,则将标签信息中该计算节点对应的报警标志设置为报警状态。
6.如权利要求4所述的方法,其特征在于,所述根据该任务的标签信息统计所有处理主体是否存在报警包括,调度节点接收计算节点反馈的任务信息和标签信息,根据该任务的标签信息统计处理该任务的调度节点和计算节点是否存在报警。
7.如权利要求4至6任一所述的方法,其特征在于,所述调度节点包括中心管理模块、和任务调度模块;
所述计算节点包括任务执行模块、引擎解析模块、和分析引擎模块;
所述任务的处理主体包括,调度节点中的中心管理模块、任务调度模块以及计算节点中的任务执行模块、引擎解析模块、分析引擎模块;
所述标签信息还包括处理任务的模块名称;
所述时间戳包括,任务进入模块的进入时间戳和任务离开模块的离开时间戳。
8.一种云分析系统中的任务监测装置,其特征在于,该装置包括,标签信息附加单元,为来自用户任务请求中的任务附加标签信息,该标签信息至少包括该任务的处理主体名称、以及实际耗时;
实际耗时确定单元,记录该任务进入当前处理主体的时间戳、离开当前处理主体的时间戳;根据所述进入时间戳和离开时间戳,计算当前处理主体的实际耗时,在所述标签信息中记录当前处理主体名称、以及实际耗时。
9.如权利要求8所述的装置,其特征在于,所述标签信息还包括耗时阈值和报警标志,该装置还包括,报警标志更新单元,当实际耗时大于所述耗时阈值时,将标签信息中该处理主体对应的报警标志设置为报警状态。
10.如权利要求9所述的装置,其特征在于,该装置进一步包括,统计单元,当所述任务的所有处理结束时,根据该任务标签信息中的报警标志统计所有处理主体是否存在报警,如果存在报警,则上报该任务的任务信息和标签信息。
11.如权利要求10所述的装置,其特征在于,所述云分析系统至少包括调度节点和计算节点,所述任务的处理主体为调度节点和计算节点;
所述处理主体名称为节点名称,
所述实际耗时确定单元包括,
调度节点实际耗时确定子单元,按照云分析系统时间,记录该任务进入调度节点的时间戳,记录该任务离开调度节点的时间戳;根据所述进入调度节点时间戳和离开调度节点时间戳,计算该调度节点的实际耗时,在所述标签信息中记录该调度节点名称、以及其实际耗时;
计算节点实际耗时确定子单元,按照云分析系统时间,记录该任务进入计算节点的时间戳,记录该任务离开计算节点的时间戳;根据所述进入计算节点时间戳和离开计算节点时间戳,计算该计算节点的实际耗时,在所述标签信息中记录该计算节点名称、以及其实际耗时。
12.如权利要求11所述的装置,其特征在于,所述报警标志更新单元包括,调度节点报警标志更新子单元,当任务在调度节点的实际耗时是否大于该调度节点的耗时阈值,则将标签信息中该调度节点对应的报警标志设置为报警状态;
计算节点报警标示更新子单元,任务在计算节点的实际耗时大于该计算节点的耗时阈值,则将标签信息中该计算节点对应的报警标志设置为报警状态。
13.如权利要求11所述的装置,其特征在于,所述统计单元包括,接收来自计算节点反馈的任务信息和标签信息,根据该任务标签信息统计处理该任务的调度节点和计算节点是否存在报警。
14.如权利要求11至13任一所述的装置,其特征在于,所述调度节点包括中心管理模块、和任务调度模块;
所述计算节点包括任务执行模块、引擎解析模块、和分析引擎模块;
所述任务的处理主体包括,调度节点中的中心管理模块、任务调度模块以及计算节点中的任务执行模块、引擎解析模块、分析引擎模块;
所述标签信息还包括处理任务的模块名称;
所述时间戳包括,任务进入模块的进入时间戳和任务离开模块的离开时间戳。