利索能及
我要发布
收藏
专利号: 2019108987495
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种大批量数据导入方法,其特征在于,所述方法包括如下步骤:在接收到数据导入请求后,获取与所述数据导入请求相对应的待导入数据;

采集系统当前的实时内存信息,所述实时内存信息至少携带有物理内存大小、实时占存以及实时占存比率,所述实时占存为所述系统当前物理内存以及虚拟内存中所有占用的内存,所述实时占存比率为所述系统当前进程占用所有内存的比率;

获取所述系统预设的最佳占存比率;

根据系统当前的实时内存信息,通过预设规则获取与所述最佳占存比率相对应的最佳导入量;

在所述待导入数据中分批次获取与所述最佳导入量相对应的实时导入数据;

将每次获取的所述实时导入数据分批导入系统数据库。

2.根据权利要求1所述的大批量数据导入方法,其特征在于,所述根据系统当前的实时内存信息,通过预设规则获取与所述最佳占存比率相对应的最佳导入量的步骤,具体包括如下步骤:判断所述最佳占存比率是否大于所述实时占存比率;

若判断结果为是,则所述最佳导入量D2表示为:

D2=D*P0-D1;

若判断结果为否,则所述最佳导入量D2表示为:

D2=D*[(1-P1)*P0];

其中,D为所述物理内存大小、D1为所述实时占存、P1为所述实时占存比率以及P0为所述最佳占存比率。

3.根据权利要求1所述的大批量数据导入方法,其特征在于,在所述通过预设规则获取与所述最佳占存比率相对应的最佳导入量步骤之后,还包括如下步骤:根据所述最佳导入量以及所述待导入数据大小计算预导入时间;

判断所述预导入时间是否满足预设的预算时间;

若判断结果为否,则根据所述待导入数据大小以及所述预算时间计算准时导入量;

在所述待导入数据中分批次获取与所述准时导入量相对应的准时导入数据;

启用虚拟内存,并将每次获取的所述准时导入数据通过所述物理内存大小以及所述虚拟内存分批导入所述系统数据库。

4.根据权利要求1所述的大批量数据导入方法,其特征在于,在所述采集系统当前的实时内存信息的步骤之前,还包括如下步骤:在历史导入任务中获取预设时间段内的历史平均导入量以及满足所述历史平均导入量的导入记录;

在所述导入记录中采集导入效率最高的高效导入量以及与所述高效导入量相对应的高效占存量;

在所述根据系统当前的实时内存信息,通过预设规则获取与所述最佳占存比率相对应的最佳导入量的步骤之后,还包括如下步骤:判断与所述物理内存大小相对应的最佳占存量是否大于所述高效占存量;

若判断结果为否,则启用虚拟内存,并将每次获取的所述实时导入数据通过所述物理内存大小以及所述虚拟内存分批导入所述系统数据库。

5.根据权利要求4所述的大批量数据导入方法,其特征在于,所述启用虚拟内存的步骤,具体包括如下步骤:当所述高效占存量小于128兆时,将所述虚拟内存的第一最小值设置为所述系统当前内存的1~1.75倍,并将所述虚拟内存的第一最大值设置为所述第一最小值的2~3倍;

当所述高效占存量在128兆~256兆之间时,将所述虚拟内存的第二最小值设置为所述系统当前内存的1~1.5倍,并将所述虚拟内存的第二最大值设置为所述第二最小值的2~3倍。

6.根据权利要求1所述的大批量数据导入方法,其特征在于,所述将每次获取的所述实时导入数据分批导入系统数据库的步骤,具体包括如下步骤:将所述实时导入数据导入缓存区或者中间数据库中;

将所述缓存区或者中间数据库中的临时数据导入系统数据库中,并得到导入结果,所述导入结果用于指示所述临时数据是否成功导入所述系统数据库中;

当所述导入结果指示成功时,删除所述缓存区或者中间数据库中的所述临时数据。

7.根据权利要求6所述的大批量数据导入方法,其特征在于,所述将所述缓存区或者中间数据库中的临时数据导入系统数据库中,并检测导入结果的步骤之后,具体包括如下步骤:当所述导入结果指示失败时,统计数据上传的次数;

当所述统计次数满足预设阈值时,输出上传失败信号,并删除所述缓存区或者中间数据库中的所述临时数据。

8.一种大批量数据导入装置,其特征在于,所述装置包括:请求接收模块,用于在接收到数据导入请求后,获取与所述数据导入请求相对应的待导入数据;

信息采集模块,用于采集系统当前的实时内存信息,所述实时内存信息至少携带有物理内存大小、实时占存以及实时占存比率;

占存比率获取模块,用于获取所述系统预设的最佳占存比率;

导入量获取模块,用于根据系统当前的实时内存信息,通过预设规则获取与所述最佳占存比率相对应的最佳导入量;

导入数据获取模块,用于在所述待导入数据中分批次获取与所述最佳导入量相对应的实时导入数据;

数据导入模块,用于将每次获取的所述实时导入数据分批导入系统数据库。

9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述大批量数据导入方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述大批量数据导入方法的步骤。