利索能及
我要发布
收藏
专利号: 2018112509171
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于HDFS的业务数据管理方法,其特征在于,该方法包括:在分布式文件系统HDFS中创建第一文件夹;

将业务所对应的第一业务数据存储至所述第一文件夹,其中,针对所述第一文件夹中的任一业务数据,所述业务数据包含标识部分,所述业务数据的标识部分包含第一标识和第二标识,所述第一标识为所述业务在HDFS中的全局唯一标识,所述第二标识为所述业务数据在HDFS中的全局唯一标识;

判断所述第一业务数据是否正确,若所述第一业务数据正确,则在预设表单中创建所述第一业务数据中的第二标识与有效标志的唯一映射关系,若所述第一业务数据错误,则在所述预设表单中创建所述第一业务数据中的第二标识与无效标志的唯一映射关系,其中,所述有效标志用于表示所述第一业务数据为正确数据,所述无效标志用于表示所述第一业务数据为错误数据;

根据所述第一文件夹中的业务数据的标识部分和所述预设表单,在所述HDFS中读取用于运行所述业务的业务数据;

针对所述第一文件夹中的任一业务数据,所述业务数据的标识部分还包含所述业务数据的版本号,当对所述第一业务数据中的数据部分进行更新或修改时,该方法还包括:在所述第一文件夹中写入所述业务所对应的第二业务数据,所述第二业务数据的版本号高于所述第一业务数据的版本号;

若所述第二业务数据正确,则在所述预设表单中创建所述第二业务数据的第二标识与有效标志的唯一映射关系;

在所述HDFS中读取用于运行所述业务的业务数据包括:

在所述预设表单中读取携带有效标志的第二标识;

在所述第一文件夹中读取所述携带有效标志的第二标识所对应的业务数据;

根据所述业务在HDFS中的全局唯一标识,获取所述业务所对应的所有业务数据,在所述业务所对应的所有业务数据中读取版本号最高的业务数据作为用于运行所述业务的业务数据;

当对所述业务所对应的所有业务数据进行删除时,该方法还包括:在所述第一文件夹中写入所述业务所对应的第三业务数据,所述第三业务数据的版本号为预设值;

在所述预设表单中创建所述第三业务数据的第二标识与有效标志的唯一映射关系;

在所述HDFS中读取用于运行所述业务的业务数据包括:

在所述预设表单中读取携带有效标志的第二标识;

在所述第一文件夹中读取所述携带有效标志的第二标识所对应的业务数据;

根据所述业务在HDFS中的全局唯一标识,读取所述业务所对应的所有业务数据;

若所述业务所对应的所有业务数据中存在版本号为所述预设值的业务数据,则判断所述业务所对应的所有业务数据已删除,不读取所述业务所对应的所有业务数据。

2.根据权利要求1所述的业务数据管理方法,其特征在于,针对所述第一文件夹中的任一业务数据,所述业务数据的标识部分还包含写入所述业务数据的时间戳,当对所述第一业务数据中的数据部分进行更新或修改时,该方法还包括:在所述第一文件夹中写入所述业务所对应的第四业务数据;

若所述第四业务数据正确,则在所述预设表单中创建所述第四业务数据的第二标识与有效标志的唯一映射关系;

在所述HDFS中读取用于运行所述业务的业务数据具体包括:在所述预设表单中读取携带有效标志的第二标识;

在所述第一文件夹中读取所述携带有效标志的第二标识所对应的业务数据;

根据所述业务在HDFS中的全局唯一标识,获取所述业务所对应的所有业务数据;

根据所述业务所对应的所有业务数据中每条业务数据所包含的时间戳,读取最新写入的业务数据作为用于运行所述业务的业务数据。

3.根据权利要求1‑2任一项所述的业务数据管理方法,其特征在于,该方法还包括:在所述HDFS中创建第二文件夹;

每隔预设时间间隔,根据所述预设表单,将所述第一文件夹中携带有有效标志的第二标识所对应的业务数据存储至所述第二文件夹;

当运行所述业务系统时,根据所述第二文件夹中的业务数据的标识部分,在所述第二文件夹中读取用于运行所述业务的业务数据。

4.根据权利要求3所述的业务数据管理方法,其特征在于,所述第一文件夹中包含第一描述文件,所述第二文件夹中包含第二描述文件,所述第一描述文件或所述第二描述文件用于记录每条业务数据的起始位置,该方法还包括:根据所述第一描述文件,读取所述第一文件夹中的业务数据;

或,根据所述第二描述文件,读取所述第二文件夹中的业务数据。

5.根据权利要求1‑2任一项所述的业务数据管理方法,其特征在于,针对所述第一文件夹中的任一条业务数据,所述业务数据的标识部分还包含第三标识,所述第三标识用于记录所述业务数据的数据部分的数据长度,在所述HDFS中读取用于运行所述业务的业务数据之后,该方法还包括:根据所述业务数据的第三标识,判断所述业务数据中的数据部分是否完整;

若所述业务数据的数据部分完整,则通过所述业务数据运行所述业务。

6.根据权利要求5所述的业务数据管理方法,其特征在于,所述业务数据的数据部分为经过压缩和序列化的数据。

7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。

8.一种终端设备,其特征在于,所述终端设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。