利索能及
我要发布
收藏
专利号: 2018101964854
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Shell的数据表提取方法,其特征在于,所述方法包括:识别Shell脚本中的数据表;

提取所述数据表的表名;

根据所提取的表名对所述数据表进行分类,其中所述数据表包括源表以及目标表;

获取不同类型的数据表对应的数据信息,并将所获取的不同类型的数据信息输出至同一预设文档中;所述数据表为JOB关联表;所述预设文档为预设数据库中预先建立的数据表,存储有所述数据信息的所述数据表封装形成为一个封装文件;

将所获取的不同类型的数据信息输出至同一预设文档中,包括:从所述JOB关联表中获取对应的数据信息并记录到临时文件中;将临时文件加载到Hadoop的Hive表中;通过Sqoop方式将所述Hive表中的数据信息输出至所述预设文档中;

所述根据所提取的表名对所述数据表进行分类,包括:对每一所述表名是否为独立字符串进行判断;

若所述表名为独立字符串,判断所述表名前后是否均有空格或换行,以及所述表名前是否包含预设关键字;

若所述表名前后均有空格或换行且所述表名前包含预设关键字,确定所述表名对应的数据表为源表;

若所述前后均有空格或换行且所述表名前不包含预设关键字,确定所述表名对应的数据表为目标表。

2.如权利要求1所述的方法,其特征在于,在所述识别Shell脚本中的数据表之前,所述方法还包括:

根据预设关键字对所述Shell脚本进行遍历;

根据遍历的结果对所述Shell脚本中的数据表进行定位。

3.如权利要求1所述的方法,其特征在于,所述根据所提取的表名对所述数据表进行分类,包括:

确定与所述数据表表名相对应的字符串;

根据所述字符串对所述数据表进行分类。

4.如权利要求1所述的方法,其特征在于,若所述数据表为源表,所述获取不同类型的数据表对应的数据信息,并将所获取的不同类型的数据信息输出至同一预设文档中,包括:将所述源表分为内部源表和外部源表;

获取所述内部源表和外部源表对应的数据信息;

将所获取的数据信息输出至预设文档中。

5.如权利要求1所述的方法,其特征在于,若所述数据表为目标表,所述获取不同类型的数据表对应的数据信息,并将所获取的不同类型的数据信息输出至同一预设文档中,包括:

将所述目标表分为插入目标表和覆盖目标表;

获取所述插入目标表和覆盖目标表对应的数据信息;

将所获取的数据信息输出至预设文档中。

6.一种基于Shell的数据表提取终端,其特征在于,所述终端包括:识别单元,用于识别Shell脚本中的数据表;

提取单元,用于提取所述数据表的表名;

分类单元,用于根据所提取的表名对所述数据表进行分类,其中所述数据表包括源表以及目标表;

获取单元,用于获取不同类型的数据表对应的数据信息,并将所获取的不同类型的数据信息输出至同一预设文档中;所述数据表为JOB关联表;所述预设文档为预设数据库中预先建立的数据表,存储有所述数据信息的所述数据表封装形成为一个封装文件;

将所获取的不同类型的数据信息输出至同一预设文档中,包括:从所述JOB关联表中获取对应的数据信息并记录到临时文件中;将临时文件加载到Hadoop的Hive表中;通过Sqoop方式将所述Hive表中的数据信息输出至所述预设文档中;

所述根据所提取的表名对所述数据表进行分类,包括:对每一所述表名是否为独立字符串进行判断;

若所述表名为独立字符串,判断所述表名前后是否均有空格或换行,以及所述表名前是否包含预设关键字;

若所述表名前后均有空格或换行且所述表名前包含预设关键字,确定所述表名对应的数据表为源表;

若所述前后均有空格或换行且所述表名前不包含预设关键字,确定所述表名对应的数据表为目标表。

7.如权利要求6所述的终端,其特征在于,所述终端还包括:遍历单元,用于根据预设关键字对所述Shell脚本进行遍历;

定位单元,用于根据遍历的结果对所述Shell脚本中的数据表进行定位。

8.如权利要求6所述的终端,其特征在于,所述分类单元,包括:确定单元,用于确定与所述数据表表名相对应的字符串;

分类子单元,用于根据所述字符串对所述数据表进行分类。

9.一种基于Shell的数据表提取设备,其特征在于,包括:存储器,用于存储实现数据表提取方法的程序;以及处理器,用于运行所述存储器中存储的实现数据表提取方法的程序,以执行如权利要求1‑5任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序可被一个或者一个以上的处理器执行,以实现如权利要求1‑5任一项所述的方法。