1.一种数据抽取方法,其特征在于,包括:
比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构,判断所述抽数数据库的数据源表结构是否发生变化;
若所述抽数数据库的数据源表结构发生变化,则根据变化内容生成修改目标表结构的脚本文件,所述数据抽取的过程是将抽数数据库中的数据进行抽取后保存在目标数据库中;
根据所述修改目标表结构的脚本文件修改目标表结构,并根据修改后的目标表结构生成抽数脚本文件;
根据所述抽数脚本文件对所述抽数数据库进行数据抽取;
其中,所述根据所述抽数脚本文件对所述抽数数据库进行数据抽取,包括:建立抽数任务,所述抽数任务包括抽数任务的执行方式,所述执行方式包括全量抽取和增量抽取;
若所述执行方式为增量抽取,则根据所述抽数数据库的元数据的增量时间戳确定抽取的数据内容,根据所述抽取的数据内容运行所述抽数脚本文件;
并且,在所述若所述执行方式为增量抽取,则根据所述抽数数据库的元数据的增量时间戳确定抽取的数据内容之前,还包括:判断所述抽数数据库的当前版本的数据表结构是否存在增量时间戳;
若所述抽数数据库的当前版本的数据表结构不存在增量时间戳,则建立唯一索引字段,通过所述唯一索引字段确定抽取的数据内容。
2.根据权利要求1所述的方法,其特征在于,所述比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构,判断所述抽数数据库的数据源表结构是否发生变化,包括:通过结构化查询语言查询抽数数据库的元数据,根据所述元数据获取当前版本的数据源表结构;
获取所述抽数数据库保存在XML文件中的上一版本的数据源表结构;
判断所述当前版本的数据源表结构与所述上一版本的数据源表结构是否存在变化字段,所述变化字段包括增加字段、删减字段以及修改字段;
若所述当前版本的数据源表结构与所述上一版本的数据源表结构存在变化字段,则所述抽数数据库的数据源表结构发生变化。
3.根据权利要求1所述的方法,其特征在于,所述根据所述抽数脚本文件对所述抽数数据库进行数据抽取,还包括:若所述执行方式为全量抽取,则运行抽数脚本文件抽取所述抽数数据库的全部数据。
4.根据权利要求1所述的方法,其特征在于,在比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构,判断所述抽数数据库的数据源表结构是否发生变化之前,还包括:识别是否存在保存上一版本的数据源表结构的XML文件;
若不存在所述XML文件,则通过数据库连接接口连接数据库,通过所述数据库查找并获取对应的数据源表结构;
创建XML文件,并将所述数据源表结构保存在所述XML文件中。
5.一种数据抽取系统,其特征在于,包括:
判断模块,用于比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构,判断所述抽数数据库的数据源表结构是否发生变化;
生成模块,用于若所述抽数数据库的数据源表结构发生变化,则根据变化内容生成修改目标表结构的脚本文件,所述数据抽取的过程是将所述抽数数据库中的数据进行抽取后保存在目标数据库中;
修改模块,用于根据所述修改目标表结构的脚本文件修改目标表结构,并根据修改后的目标表结构生成抽数脚本文件;
抽取模块,用于根据所述抽数脚本文件对所述抽数数据库进行数据抽取;
其中,所述抽取模块包括:
任务建立单元,用于建立抽数任务,所述抽数任务包括抽数任务的执行方式,所述执行方式包括全量抽取和增量抽取;
增量抽取单元,用于若所述执行方式为增量抽取,则根据所述抽数数据库的元数据的增量时间戳确定抽取的数据内容,根据所述抽取的数据内容运行所述抽数脚本文件;
增量时间戳单元,用于判断所述抽数数据库的当前版本的数据表结构是否存在增量时间戳;
索引字段单元,用于若所述抽数数据库的当前版本的数据表结构不存在增量时间戳,则建立唯一索引字段,通过所述唯一索引字段确定抽取的数据内容。
6.根据权利要求5所述的数据抽取系统,其特征在于,所述判断模块包括:结构查询单元,用于通过结构化查询语言查询抽数数据库的元数据,根据所述元数据获取当前版本的数据源表结构;
获取单元,用于获取所述抽数数据库保存在XML文件中的上一版本的数据源表结构;
判断单元,用于判断所述当前版本的数据源表结构与所述上一版本的数据源表结构是否存在变化字段,所述变化字段包括增加字段、删减字段以及修改字段;若所述当前版本的数据源表结构与所述上一版本的数据源表结构存在变化字段,则所述抽数数据库的数据源表结构发生变化。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。