利索能及
我要发布
收藏
专利号: 2020100006874
申请人: 北京众信易保科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据采集控制的方法,其特征在于,包括以下步骤:S1:建立采集平台管理模块,在所述采集平台管理模块中创建初始任务,形成所述初始任务的初始任务列表;

S2:根据所述初始任务列表,为每一个所述初始任务建立运行服务器;

S3:建立采集进程控制模块,读取所述初始任务列表,并将所述初始任务列表存储到所述采集进程控制模块中,构成执行任务列表;

S4:建立采集进程优化模块,对所述执行任务列表进行优先级排序;

S5:根据S4中排序后的所述执行任务列表,顺序在所述执行任务对应的所述任务服务器中执行所述执行任务;

其中,对所述执行任务列表进行优先级排序,具体过程为:计算任务最终权重,计算公式为:若当前时间距离任务最迟时间的剩余时间,不足任务上次耗时,则finalWeight=weight*100+timeFly+1000;

否则finalWeight=weight*100+timeFly;

其中,timeFly为所述任务上次耗时,weight为任务自定权重,finalWeight为所述任务最终权重;

根据所述任务最终权重从大到小的顺序,对所述执行任务列表进行优先级排序。

2.根据权利要求1所述的数据采集控制的方法,其特征在于,在步骤S1中,还包括,建立任务基本信息库,所述任务基本信息库中存储任务的基本信息,包括任务唯一标识,所述任务上次耗时,所述任务最迟时间,所述任务自定权重,所述任务最终权重,任务对应平台,运行服务器编号在内的字段。

3.根据权利要求1所述的数据采集控制的方法,其特征在于,在步骤S4中,还包括,获取所述执行任务的所述运行服务器上的任务状态,排除所述任务状态为执行完成的所述执行任务,对剩余所述执行任务进行优先级排序。

4.根据权利要求2所述的数据采集控制的方法,其特征在于,还包括建立采集耗时统计模块,记录下执行所述执行任务的耗时,更新到所述任务上次耗时字段中。

5.一种数据采集控制的系统,其特征在于,包括采集平台管理模块,采集进程控制模块,采集任务优化模块,运行服务器;

所述采集平台管理模块,用于创建初始任务,形成所述初始任务的初始任务列表;

所述采集进程控制模块,用于读取所述初始任务列表,并将所述初始任务列表存储到所述采集进程控制模块中,构成执行任务列表;

所述采集任务优化模块,用于对所述执行任务列表进行优先级排序;

所述运行服务器,用于执行数据采集任务;

其中,所述采集任务优化模块,还包括权重计算模块,用于计算任务最终权重,具体计算过程为:

若当前时间距离任务最迟时间的剩余时间,不足任务上次耗时,则finalWeight=weight*100+timeFly+1000;

否则finalWeight=weight*100+timeFly;

其中,timeFly为所述任务上次耗时,weight为任务自定权重,finalWeight为所述任务最终权重;

根据所述任务最终权重从大到小的顺序,对所述执行任务列表进行优先级排序。

6.根据权利要求5所述的数据采集控制的系统,其特征在于,所述采集进程控制模块还包括任务基本信息库,用于存储任务的基本信息,包括任务唯一标识,所述任务上次耗时,所述任务最迟时间,所述任务自定权重,所述任务最终权重,任务对应平台,运行服务器编号在内的字段。

7.根据权利要求5所述的数据采集控制的系统,其特征在于,还包括,采集耗时统计模块,用于记录执行所述执行任务的耗时,更新到所述任务上次耗时字段中。

8.根据权利要求5所述的数据采集控制的系统,其特征在于,还包括,存储数据库,用于存储所述运行服务器采集完的数据。