利索能及
我要发布
收藏
专利号: 2017104904437
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种应用服务器,其特征在于,所述应用服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源数据同步系统,所述多数据源数据同步系统被所述处理器执行时实现如下步骤:建立一数据平台与至少一个数据源的第一连接,并建立该数据平台与该应用服务器的第二连接;

接收用户选择的需要同步的源表和数据源类型,根据预先解析获得的各数据源的源表结构,生成各数据源对应的建表任务和数据同步任务;及将所述生成的各数据源对应的建表任务和数据同步任务发布至预设的工作流调度引擎,通过该预设的工作流调度引擎执行各数据源对应的建表任务和数据同步任务。

2.如权利要求1所述的应用服务器,其特征在于,所述生成各数据源对应的建表任务包括:根据用户选择的需要同步的源表和各源表的类型,生成与该选择的源表类型对应的目标表。

3.如权利要求2所述的应用服务器,其特征在于,所述生成各数据源对应的建表任务包括:若用户选择的需要同步的源表类型为第一类型维度表,则生成与所述第一类型维度表的源表结构对应的第一类型目标表,所述第一类型目标表的数量根据所述用户选择的需要同步的第一类型源表数量确定;

若用户选择的需要同步的源表类型为第二类型任务表,则生成与所述第二类型任务表的源表结构对应的第二类型目标表,所述第二类型目标表的数量根据所述用户选择的需要同步的第二类型源表数量确定;及若用户选择的需要同步的源表类型为第三类型流水表,则生成与所述第三类型流水表的源表结构对应的第三类型目标表,所述第三类型目标表的数量根据所述用户选择的需要同步的第三类型源表数量确定。

4.如权利要求2或3所述的应用服务器,其特征在于,所述生成各数据源对应的数据同步任务包括:根据用户选择的需要同步的开始时间和结束时间确定从各源表开始抽取数据的时间和停止抽取数据的时间;

根据用户选择的需要同步的源表数量及同步的目标端用户确定数据同步各个任务所需的资源配置和资源管理节点;及建立所述需要同步的源表的相应字段与所述生成的各目标表的相应字段的对应关系,并根据源表与目标表相应字段的对应关系生成各源表对应的数据抽取任务。

5.一种多数据源数据同步方法,应用于应用服务器,其特征在于,所述方法包括:建立一数据平台与至少一个数据源的第一连接,并建立该数据平台与该应用服务器的第二连接;

接收用户选择的需要同步的源表和数据源类型,根据预先解析获得的各数据源的源表结构,生成各数据源对应的建表任务和数据同步任务;及将所述生成的各数据源对应的建表任务和数据同步任务发布至预设的工作流调度引擎,通过该预设的工作流调度引擎执行各数据源对应的建表任务和数据同步任务。

6.如权利要求5所述的多数据源数据同步方法,其特征在于,所述生成各数据源对应的建表任务包括:根据用户选择的需要同步的源表和各源表的类型,生成与该选择的源表类型对应的目标表。

7.如权利要求6所述的多数据源数据同步方法,其特征在于,所述生成各数据源对应的建表任务包括:若用户选择的需要同步的源表类型为第一类型维度表,则生成与所述第一类型维度表的源表结构对应的第一类型目标表,所述第一类型目标表的数量根据所述用户选择的需要同步的第一类型源表数量确定;

若用户选择的需要同步的源表类型为第二类型任务表,则生成与所述第二类型任务表的源表结构对应的第二类型目标表,所述第二类型目标表的数量根据所述用户选择的需要同步的第二类型源表数量确定;及若用户选择的需要同步的源表类型为第三类型流水表,则生成与所述第三类型流水表的源表结构对应的第三类型目标表,所述第三类型目标表的数量根据所述用户选择的需要同步的第三类型源表数量确定。

8.如权利要求6或7所述的多数据源数据同步方法,其特征在于,所述生成各数据源对应的数据同步任务包括:根据用户选择的需要同步的开始时间和结束时间确定从各源表开始抽取数据的时间和停止抽取数据的时间;

根据用户选择的需要同步的源表数量及同步的目标端用户确定数据同步各个任务所需的资源配置和资源管理节点;及建立所述需要同步的源表的相应字段与所述生成的各目标表的相应字段的对应关系,并根据源表与目标表相应字段的对应关系生成各源表对应的数据抽取任务。

9.如权利要求8所述的多数据源数据同步方法,其特征在于,所述数据同步任务的执行包括:若用户选择的需要同步的开始时间到达,则启动各数据源对应的数据同步各个任务,获取数据同步各个任务所需的资源配置,从各源表中分别抽取相应字段对应的数据,并将抽取的数据分别存入各目标表的相应字段。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有多数据源数据同步系统,所述多数据源数据同步系统可被至少一个处理器执行,以使所述至少一个处理器执行如权利要求5-9中任一项所述的多数据源数据同步方法的步骤。