利索能及
我要发布
收藏
专利号: 2018113029063
申请人: 东软集团股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-03-28
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据同步的数据表维护方法,其特征在于,所述方法包括:

在当前数据同步任务启动时,根据第一数据同步任务的执行状态,确定是否删除分析引擎的目标数据表中的第一数据文件,所述第一数据同步任务为所述当前数据同步任务的前一个数据同步任务,所述第一数据文件为在所述第一数据同步任务执行失败时被写入所述目标数据表的附带第一标识的临时数据文件;

根据所述第一数据同步任务的执行状态,将所述当前数据同步任务中需要同步的数据文件转换为附带目标标识的临时数据文件,作为第二数据文件,所述目标标识为所述第一标识或第二标识,所述第二标识为在确定所述第一数据同步任务执行成功后生成的标识;

在所述当前数据同步任务的执行过程中,对所述第二数据文件进行写文件操作和重命名操作,以将所述第二数据文件写入所述目标数据表并转换为能够被所述分析引擎使用的有效数据文件;

当所述写文件操作或者所述重命名操作的过程中出现错误时,根据所述目标标识删除目标数据文件,所述目标数据文件为在所述写文件操作或者所述重命名操作出现错误之前已写入所述目标数据表的数据文件。

2.根据权利要求1所述的方法,其特征在于,所述执行状态包括:执行成功或执行失败,所述在当前数据同步任务启动时,根据第一数据同步任务的执行状态,确定是否删除分析引擎的目标数据表中的第一数据文件,包括:在所述当前数据同步任务启动时,通过查询所述目标数据表,确定所述第一数据同步任务的执行状态;

当确定所述第一数据同步任务的执行状态为执行失败时,确定所述目标数据表中附带所述第一标识的数据文件,作为所述第一数据文件;

删除所述第一数据文件。

3.根据权利要求1所述的方法,其特征在于,所述根据所述第一数据同步任务的执行状态,将所述当前数据同步任务中需要同步的数据文件转换为附带目标标识的临时数据文件,作为第二数据文件,包括:当确定所述第一数据同步任务执行失败时,将所述第一标识作为所述目标标识,为所述当前数据同步任务中需要同步的数据文件的文件名添加临时文件标识和所述目标标识,以获取所述第二数据文件;或者,当确定所述第一数据同步任务执行成功时,将所述第二标识作为所述目标标识,为所述当前数据同步任务中需要同步的数据文件的文件名添加临时文件标识和所述目标标识,以获取所述第二数据文件。

4.根据权利要求3所述的方法,其特征在于,所述在所述当前数据同步任务的执行过程中,对所述第二数据文件进行写文件操作和重命名操作,以将所述第二数据文件写入所述目标数据表并转换为能够被所述分析引擎使用的有效数据文件,包括:通过所述写文件操作将所述第二数据文件写入所述目标数据表;

在确定所述写文件操作完成后,通过所述重命名操作删除所述第二数据文件的文件名中的临时文件标识,以将所述第二数据文件从所述临时数据文件转换为所述有效数据文件。

5.根据权利要求1所述的方法,其特征在于,所述当所述写文件操作或者所述重命名操作的过程中出现错误时,根据所述目标标识删除目标数据文件,包括:当所述写文件操作或者所述重命名操作的过程中出现错误时,停止所述当前数据同步任务;

根据所述目标标识在所述目标数据表中确定所述目标数据文件;

删除所述目标数据文件。

6.一种数据同步的数据表维护装置,其特征在于,所述装置包括:

第一文件删除模块,用于在当前数据同步任务启动时,根据第一数据同步任务的执行状态,确定是否删除分析引擎的目标数据表中的第一数据文件,所述第一数据同步任务为所述当前数据同步任务的前一个数据同步任务,所述第一数据文件为在所述第一数据同步任务执行失败时被写入所述目标数据表的附带第一标识的临时数据文件;

文件转换模块,用于根据所述第一数据同步任务的执行状态,将所述当前数据同步任务中需要同步的数据文件转换为附带目标标识的临时数据文件,作为第二数据文件,所述目标标识为所述第一标识或第二标识,所述第二标识为在确定所述第一数据同步任务执行成功后生成的标识;

任务执行模块,用于在所述当前数据同步任务的执行过程中,对所述第二数据文件进行写文件操作和重命名操作,以将所述第二数据文件写入所述目标数据表并转换为能够被所述分析引擎使用的有效数据文件;

第二文件删除模块,用于当所述写文件操作或者所述重命名操作的过程中出现错误时,根据所述目标标识删除目标数据文件,所述目标数据文件为在所述写文件操作或者所述重命名操作出现错误之前已写入所述目标数据表的数据文件。

7.根据权利要求6所述的装置,其特征在于,所述执行状态包括:执行成功或执行失败,所述第一文件删除模块,包括:状态确定子模块,用于在所述当前数据同步任务启动时,通过查询所述目标数据表,确定所述第一数据同步任务的执行状态;

第一文件确定子模块,用于当确定所述第一数据同步任务的执行状态为执行失败时,确定所述目标数据表中附带所述第一标识的数据文件,作为所述第一数据文件;

第一文件删除子模块,用于删除所述第一数据文件。

8.根据权利要求6所述的装置,其特征在于,所述文件转换模块,用于:

当确定所述第一数据同步任务执行失败时,将所述第一标识作为所述目标标识,为所述当前数据同步任务中需要同步的数据文件的文件名添加临时文件标识和所述目标标识,以获取所述第二数据文件;或者,当确定所述第一数据同步任务执行成功时,将所述第二标识作为所述目标标识,为所述当前数据同步任务中需要同步的数据文件的文件名添加临时文件标识和所述目标标识,以获取所述第二数据文件。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

10.一种电子设备,其特征在于,包括:

存储器,其上存储有计算机程序;

处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-5中任一项所述方法的步骤。