1.一种数据采集控制的方法,其特征在于,包括以下步骤:S1:建立采集平台管理模块,在所述采集平台管理模块中创建初始任务,形成所述初始任务的初始任务列表;
S2:根据所述初始任务列表,为每一个所述初始任务建立运行服务器;
S3:建立采集进程控制模块,读取所述初始任务列表,并将所述初始任务列表存储到所述采集进程控制模块中,构成执行任务列表;
S4:建立采集进程优化模块,对所述执行任务列表进行优先级排序;
S5:根据S4中排序后的所述执行任务列表,顺序在所述执行任务对应的所述任务服务器中执行所述执行任务;
其中,对所述执行任务列表进行优先级排序,具体过程为:计算任务最终权重,计算公式为:若当前时间距离任务最迟时间的剩余时间,不足任务上次耗时,则finalWeight=weight*100+timeFly+1000;
否则finalWeight=weight*100+timeFly;
其中,timeFly为所述任务上次耗时,weight为任务自定权重,finalWeight为所述任务最终权重;
根据所述任务最终权重从大到小的顺序,对所述执行任务列表进行优先级排序。
2.根据权利要求1所述的数据采集控制的方法,其特征在于,在步骤S1中,还包括,建立任务基本信息库,所述任务基本信息库中存储任务的基本信息,包括任务唯一标识,所述任务上次耗时,所述任务最迟时间,所述任务自定权重,所述任务最终权重,任务对应平台,运行服务器编号在内的字段。
3.根据权利要求1所述的数据采集控制的方法,其特征在于,在步骤S4中,还包括,获取所述执行任务的所述运行服务器上的任务状态,排除所述任务状态为执行完成的所述执行任务,对剩余所述执行任务进行优先级排序。
4.根据权利要求2所述的数据采集控制的方法,其特征在于,还包括建立采集耗时统计模块,记录下执行所述执行任务的耗时,更新到所述任务上次耗时字段中。
5.一种数据采集控制的系统,其特征在于,包括采集平台管理模块,采集进程控制模块,采集任务优化模块,运行服务器;
所述采集平台管理模块,用于创建初始任务,形成所述初始任务的初始任务列表;
所述采集进程控制模块,用于读取所述初始任务列表,并将所述初始任务列表存储到所述采集进程控制模块中,构成执行任务列表;
所述采集任务优化模块,用于对所述执行任务列表进行优先级排序;
所述运行服务器,用于执行数据采集任务;
其中,所述采集任务优化模块,还包括权重计算模块,用于计算任务最终权重,具体计算过程为:
若当前时间距离任务最迟时间的剩余时间,不足任务上次耗时,则finalWeight=weight*100+timeFly+1000;
否则finalWeight=weight*100+timeFly;
其中,timeFly为所述任务上次耗时,weight为任务自定权重,finalWeight为所述任务最终权重;
根据所述任务最终权重从大到小的顺序,对所述执行任务列表进行优先级排序。
6.根据权利要求5所述的数据采集控制的系统,其特征在于,所述采集进程控制模块还包括任务基本信息库,用于存储任务的基本信息,包括任务唯一标识,所述任务上次耗时,所述任务最迟时间,所述任务自定权重,所述任务最终权重,任务对应平台,运行服务器编号在内的字段。
7.根据权利要求5所述的数据采集控制的系统,其特征在于,还包括,采集耗时统计模块,用于记录执行所述执行任务的耗时,更新到所述任务上次耗时字段中。
8.根据权利要求5所述的数据采集控制的系统,其特征在于,还包括,存储数据库,用于存储所述运行服务器采集完的数据。