1.一种数据处理方法,其特征在于,包括:
根据数据生成任务的运行速度和数据执行任务的运行速度,确定需要启动的数据生成任务的个数;
按照确定出的个数启动并运行生成任务,当所有生成任务生成的数据量大于等于运行一次数据执行任务配置的数据量时,启动并运行所述数据执行任务。
2.如权利要求1所述的方法,其特征在于,所述数据生成任务和数据执行任务的执行速度,通过下述方式确定:设定一个数据生成任务和一个数据执行任务,所述生成任务用于生成数据并放入设定的数据池,所述执行任务用于从数据池中取出数据并执行;
先运行一次数据生成任务,根据运行一次数据生成任务生成的数据量和耗时,计算出每秒生成的数据量,作为数据生成任务的运行速度;
循环运行数据生成任务,当数据池中的数据量达到运行一次执行任务配置的数据量时,运行一次数据执行任务,根据运行一次数据执行任务执行的数据量和耗时,计算出每秒执行的数据量,作为数据执行任务的运行速度。
3.如权利要求1或2所述的方法,其特征在于,所述根据数据生成任务的运行速度和数据执行任务的运行速度,确定需要启动的数据生成任务的个数,具体包括:当所述数据生成任务的运行速度大于所述数据执行任务的运行速度时,所述需要启动的数据生成任务的个数至少为2个;
当所述数据生成任务的运行速度小于等于所述数据执行任务的运行速度时,所述需要启动的数据生成任务的个数为2+N,其中N=数据执行任务的运行速度除以数据生成任务的运行速度的结果取整。
4.如权利要求1或2所述的方法,其特征在于,启动并运行所述数据执行任务时,还包括:对数据执行任务的执行过程按照数据量大小分阶段进行监测;
根据每个阶段所述执行过程的数据量和当前阶段数据生成任务实际的执行速度,动态调整下个阶段数据生成任务的个数。
5.如权利要求4所述的方法,其特征在于,根据每个阶段所述执行过程的数据量和当前阶段数据生成任务实际的执行速度,动态调整下个阶段数据生成任务的个数,具体包括:根据当前阶段的数据生成任务生成的数据量和数据生成任务的个数,计算出当前阶段内数据生成任务的实际速度;
根据当前阶段监测到的数据执行任务执行的数据量,预测下个阶段需要生成的数据量;
根据预测下个阶段需要生成的数据量以及当前阶段内数据生成任务的实际速度,计算出下个阶段需要的数据生成任务的个数;
根据所述下个阶段需要的数据生成任务的个数,调整数据生成任务的个数。
6.一种数据处理装置,其特征在于,包括:
确定模块,用于根据数据生成任务的运行速度和数据执行任务的运行速度,确定需要启动的数据生成任务的个数;
生成任务运行模块,用于按照确定出的个数启动并运行生成任务;
执行任务运行模块,用于当所有生成任务生成的数据量大于等于运行一次数据执行任务配置的数据量时,启动并运行所述数据执行任务。
7.如权利要求6所述的装置,其特征在于,还包括:预处理模块,用于设定一个数据生成任务和一个数据执行任务,所述生成任务用于生成数据并放入设定的数据池,所述执行任务用于从数据池中取出数据并执行;先运行一次数据生成任务,根据运行一次数据生成任务生成的数据量和耗时,计算出每秒生成的数据量,作为数据生成任务的运行速度;循环运行数据生成任务,当数据池中的数据量达到运行一次执行任务配置的数据量时,运行一次数据执行任务,根据运行一次数据执行任务执行的数据量和耗时,计算出每秒执行的数据量,作为数据执行任务的运行速度。
8.如权利要求6或7所述的装置,其特征在于,所述确定模块,具体用于当所述数据生成任务的运行速度大于所述数据执行任务的运行速度时,所述需要启动的数据生成任务的个数至少为2个;当所述数据生成任务的运行速度小于等于所述数据执行任务的运行速度时,所述需要启动的数据生成任务的个数为2+N,其中N=数据执行任务的运行速度除以数据生成任务的运行速度的结果取整。
9.如权利要求6或7所述的装置,其特征在于,还包括:
动态调整模块,用于对数据执行任务的执行过程按照数据量大小分阶段进行监测;根据每个阶段所述执行过程的数据量和当前阶段数据生成任务实际的执行速度,动态调整下个阶段数据生成任务的个数。
10.如权利要求9所述的装置,其特征在于,所述动态调整模块,具体用于根据当前阶段的数据生成任务生成的数据量和数据生成任务的个数,计算出当前阶段内数据生成任务的实际速度;根据当前阶段监测到的数据执行任务执行的数据量,预测下个阶段需要生成的数据量;根据预测下个阶段需要生成的数据量以及当前阶段内数据生成任务的实际速度,计算出下个阶段需要的数据生成任务的个数;根据所述下个阶段需要的数据生成任务的个数,调整数据生成任务的个数。
11.一种服务器,其特征在于,所述服务器包括如权利要求6-10任一项所述的数据处理装置。