1.一种批量数据处理方法,其特征在于,包括:
从非实时任务队列中选取目标批量任务,基于所述目标批量任务创建数据处理队列,所述数据处理队列包括待处理数据和对应的任务状态;
从目标空闲时间队列中确定目标空闲信息,所述目标空闲信息包括起始时间、目标空闲时长和预估线程数;
获取所述待处理数据对应的待处理数据数量,基于所述待处理数据数量、所述目标空闲时长和所述预估线程数,获取目标数量,在所述数据处理队列中选取与所述目标数量相对应的待处理数据,确定为切分处理数据;
在系统当前时间为所述起始时间时,获取系统原始负载;
若所述系统原始负载小于忙碌负载阈值,则认定系统处于空闲状态,获取与所述预估线程数相对应的目标处理线程,在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理,获取数据处理结果;
基于所述数据处理结果,更新所述数据处理队列中每一所述切分处理数据的任务状态;
其中,所述待处理数据是指在所述目标批量任务中需要进行处理的最小单位数据,所述非实时任务队列中存储至少一个非实时任务,所述预估线程数是指经过预测得到的在所述目标空闲时长内能够处理的非实时任务的线程数。
2.如权利要求1所述的批量数据处理方法,其特征在于,在所述在系统当前时间为所述起始时间时,获取系统原始负载之后,所述批量数据处理方法还包括:若所述系统原始负载不小于所述忙碌负载阈值,则认定系统处于忙碌状态,重复执行所述从目标空闲时间队列中确定目标空闲信息。
3.如权利要求1所述的批量数据处理方法,其特征在于,在所述从非实时任务队列中选取目标批量任务,基于所述目标批量任务创建数据处理队列之前,所述批量数据处理方法还包括:获取任务处理请求,所述任务处理请求包括待处理任务和与所述待处理任务相对应的任务标识;
若所述任务标识为实时标识,则执行所述待处理任务;
若所述任务标识为非实时标识,则获取所述任务处理请求中的任务类型,基于所述任务类型确定所述待处理任务的任务优先级,依据所述任务优先级的顺序,将所述待处理任务存储在所述非实时任务队列中。
4.如权利要求1所述的批量数据处理方法,其特征在于,在所述从目标空闲时间队列中确定目标空闲信息之前,所述批量数据处理方法还包括:获取历史处理数据,所述历史处理数据包括历史处理时间、历史处理数量和历史线程数;
基于机器学习算法对所述历史处理时间、所述历史处理数量和所述历史线程数进行大数据建模,获取原始空闲时间队列,所述原始空闲时间队列包括至少一个原始空闲信息,每一所述原始空闲信息包括起始时间、原始空闲时长和预估线程数;
若所述原始空闲时长大于第一时长阈值,则将所述原始空闲信息存储在所述目标空闲时间队列上。
5.如权利要求1所述的批量数据处理方法,其特征在于,所述基于所述待处理数据数量、所述目标空闲时长和所述预估线程数,获取目标数量,在所述数据处理队列中选取与所述目标数量相对应的待处理数据,确定为切分处理数据,包括:采用预估时间计算公式对所述待处理数据数量和所述预估线程数进行计算,获取所述数据处理队列对应的预估处理时间;
采用目标数量计算公式对所述预估处理时间和所述目标空闲时长进行计算,获取目标数量;
按预设筛选规则,在所述数据处理队列中选取与所述目标数量相对应的待处理数据,确定为切分处理数据。
6.如权利要求1所述的批量数据处理方法,其特征在于,在所述基于所述数据处理结果,更新所述数据处理队列中每一所述切分处理数据的任务状态之后,所述批量数据处理方法还包括:若所述数据处理队列中每一所述切分处理数据的任务状态均更新为完成处理状态,则基于系统当前时间、所述起始时间和所述目标空闲时长,获取剩余时长;
若剩余时长大于第二时长阈值,则将所述剩余时长更新为目标空闲时长,基于更新后的所述目标空闲时长和所述预估线程数,确定对应的可处理数据量;
在所述数据处理队列中选取与所述可处理数量相对应的待处理数据,更新为切分处理数据,获取与所述预估线程数相对应的目标处理线程,重复执行在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理,获取数据处理结果。
7.如权利要求1所述的批量数据处理方法,其特征在于,在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理之后,所述批量数据处理方法还包括:实时监控数据处理过程中的系统当前负载,若系统当前负载大于突发负载阈值,则释放所述目标处理线程,停止对所述切分处理数据进行数据处理,将所述切分处理数据的任务状态更新为停止状态。
8.一种批量数据处理装置,其特征在于,包括:
数据处理队列创建模块,用于从非实时任务队列中选取目标批量任务,基于目标批量任务创建数据处理队列,数据处理队列包括待处理数据和对应的任务状态,其中,所述待处理数据是指在所述目标批量任务中需要进行处理的最小单位数据,所述非实时任务队列中存储至少一个非实时任务;
目标空闲信息确定模块,用于从目标空闲时间队列中确定目标空闲信息,目标空闲信息包括起始时间、目标空闲时长和预估线程数,所述预估线程数是指经过预测得到的在所述目标空闲时长内能够处理的非实时任务的线程数;
切分处理数据确定模块,用于获取待处理数据对应的待处理数据数量,基于待处理数据数量、目标空闲时长和预估线程数,获取目标数量,在数据处理队列中选取与目标数量相对应的待处理数据,确定为切分处理数据;
系统原始负载获取模块,用于在系统当前时间为起始时间时,获取系统原始负载;
数据处理结果获取模块,用于若系统原始负载小于忙碌负载阈值,则认定系统处于空闲状态,获取与预估线程数相对应的目标处理线程,在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理,获取数据处理结果;
任务状态更新模块,用于基于数据处理结果,更新数据处理队列中每一切分处理数据的任务状态。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至
7任一项所述批量数据处理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述批量数据处理方法的步骤。