利索能及
我要发布
收藏
专利号: 2021100052078
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于表关联的丢失数据回收方法,其特征在于,所述基于表关联的丢失数据回收方法包括:响应于第一数据抽取指令,根据所述第一数据抽取指令从源系统中获取待抽取数据表;

从所述待抽取数据表中抽取数据增量同步至增量表,并在所述增量表中根据抽取的数据构建主表;

确定与所述待抽取数据表相关联的关联数据表;

从所述增量表中获取所述关联数据表的已抽取数据,并在所述增量表中根据所述已抽取数据构建从表;

将所述从表中的数据与所述主表中的数据进行关联,并获取关联失败的数据;

将所述关联失败的数据写入回收表;

响应于对所述待抽取数据表的第二数据抽取指令,根据所述第二数据抽取指令从所述待抽取数据表中抽取数据增量同步至所述增量表,并将抽取的数据更新至所述主表;

从所述增量表中获取当前的从表,并计算所述当前的从表与所述回收表的并集作为更新后的从表;

将所述更新后的从表与更新后的主表进行关联,并将关联成功的数据从所述回收表中移除。

2.如权利要求1所述的基于表关联的丢失数据回收方法,其特征在于,所述根据所述第一数据抽取指令从源系统中获取待抽取数据表包括:解析所述第一数据抽取指令的方法体,得到所述第一数据抽取指令所携带的信息;

获取预设标签;

在所述第一数据抽取指令所携带的信息中查找具有所述预设标签的数据,并将查找到的数据确定为目标表名;

从所述源系统中获取具有所述目标表名的数据表作为所述待抽取数据表。

3.如权利要求1所述的基于表关联的丢失数据回收方法,其特征在于,所述从所述待抽取数据表中抽取数据增量同步至增量表包括:解析所述第一数据抽取指令,得到数据抽取的第一时间戳范围;

从所述待抽取数据表中获取满足所述第一时间戳范围的数据作为备选数据;

检测所述备选数据中发生变更的数据;

将所述发生变更的数据同步至所述增量表。

4.如权利要求1所述的基于表关联的丢失数据回收方法,其特征在于,所述确定与所述待抽取数据表相关联的关联数据表包括:检测与所述待抽取数据表间具有join操作的数据表;

将检测到的数据表确定为所述关联数据表。

5.如权利要求1所述的基于表关联的丢失数据回收方法,其特征在于,所述将所述从表中的数据与所述主表中的数据进行关联包括:获取所述从表中每条从数据的数据标识,及获取所述主表中每条主数据的数据标识;

调用预先配置的映射表,所述映射表中存储着每条从数据的数据标识与每条主数据的数据标识间的对应关系;

当在所述映射表中查找到所述从表中第一数据的数据标识与所述主表中第二数据的数据标识具有对应关系时,确定所述第一数据与所述第二数据关联,并确定所述第一数据关联成功;或者当在所述映射表中没有查找到与所述第一数据的数据标识具有对应关系的主数据时,确定所述第一数据关联失败。

6.如权利要求1所述的基于表关联的丢失数据回收方法,其特征在于,在将所述关联失败的数据写入回收表前,所述方法还包括:识别所述增量表的表结构;

根据所述增量表的表结构创建所述增量表的同构表;

将创建的同构表确定为所述回收表。

7.如权利要求1所述的基于表关联的丢失数据回收方法,其特征在于,所述方法还包括:检测所述回收表中每条数据的已回收时间;

当检测到有数据的已回收时间大于或者等于预设时长时,将检测到的数据确定为待验证数据;

根据所述待验证数据在所述源系统中进行对账;

从所述待验证数据中获取符合对账标准的数据,并将所述符合对账标准的数据保留至所述回收表;

从所述待验证数据中获取不符合对账标准的数据,并将所述不符合对账标准的数据从所述回收表中移除。

8.一种基于表关联的丢失数据回收装置,其特征在于,所述基于表关联的丢失数据回收装置包括:获取单元,用于响应于第一数据抽取指令,根据所述第一数据抽取指令从源系统中获取待抽取数据表;

构建单元,用于从所述待抽取数据表中抽取数据增量同步至增量表,并在所述增量表中根据抽取的数据构建主表;

确定单元,用于确定与所述待抽取数据表相关联的关联数据表;

所述构建单元,还用于从所述增量表中获取所述关联数据表的已抽取数据,并在所述增量表中根据所述已抽取数据构建从表;

关联单元,用于将所述从表中的数据与所述主表中的数据进行关联,并获取关联失败的数据;

写入单元,用于将所述关联失败的数据写入回收表;

更新单元,用于响应于对所述待抽取数据表的第二数据抽取指令,根据所述第二数据抽取指令从所述待抽取数据表中抽取数据增量同步至所述增量表,并将抽取的数据更新至所述主表;

所述更新单元,还用于从所述增量表中获取当前的从表,并计算所述当前的从表与所述回收表的并集作为更新后的从表;

所述关联单元,还用于将所述更新后的从表与更新后的主表进行关联,并将关联成功的数据从所述回收表中移除。

9.一种电子设备,其特征在于,所述电子设备包括:存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现如权利要求1至7中任意一项所述的基于表关联的丢失数据回收方法。

10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的基于表关联的丢失数据回收方法。