利索能及
我要发布
收藏
专利号: 2020114226263
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据异常更新检测方法,其特征在于,包括:

接收待检测数据任务配置表信息;其中,所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息,所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数;

解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称,根据所述目标Hive表名称获取对应目标Hive表的元数据信息;

解析获取所述元数据信息中的Hive表类型和数据文件信息;其中,所述Hive表类型包括分区表和非分区表,所述数据文件信息包括数据文件大小值和数据更新时间;

若目标Hive表对应的数据表波动类型为非波动类型,调用预先训练的Prophet时间序列模型,获取目标Hive表的历史元数据信息,将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算,得到目标Hive表的预测元数据信息;

若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值,或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值,将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端;以及若目标Hive表对应的数据表波动类型为波动类型,获取目标Hive表对应的源数据,调用预先训练的孤立森林模型对所述源数据进行异常数据检测,得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

2.根据权利要求1所述的数据异常更新检测方法,其特征在于,所述根据所述目标Hive表名称获取对应目标Hive表的元数据信息,包括:启动元数据服务,通过元数据服务从关系型数据库中获取与所述目标Hive表名称对应的元数据信息。

3.根据权利要求2所述的数据异常更新检测方法,其特征在于,所述启动元数据服务,通过元数据服务从关系型数据库中获取与所述目标Hive表名称对应的元数据信息,包括:根据所述目标Hive表名称生成对应的第一HDFS指令,将所述第一HDFS指令发送至关系型数据库以获取目标Hive表的Hive表类型;

根据所述目标Hive表名称生成对应的第二HDFS指令,将所述第二HDFS指令发送至关系型数据库以获取目标Hive表的数据文件信息。

4.根据权利要求1所述的数据异常更新检测方法,其特征在于,所述获取目标Hive表的历史元数据信息,将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算,得到目标Hive表的预测元数据信息,包括:获取所述目标Hive表的历史元数据信息中的数据文件大小值及其对应的日期以组成第一输入序列,以及获取所设置的预测时间区间,将第一输入序列输入至所述Prophet时间序列模型进行运算,得到与所述预测时间区间对应的数据文件大小值预测集合;

获取所述目标Hive表的历史元数据信息中的数据更新时间及其对应的日期以组成第二输入序列,以及获取所述预测时间区间,将第二输入序列输入至所述Prophet时间序列模型进行运算,得到与所述预测时间区间对应的数据更新时间预测集合。

5.根据权利要求1所述的数据异常更新检测方法,其特征在于,还包括:

获取待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型。

6.根据权利要求5所述的数据异常更新检测方法,其特征在于,所述获取待分类样本,根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型,包括:从所述待分类样本中随机获取数据属性,由数据属性和当前异常点比例所确定的分裂值;

根据所述数据属性及所述分裂值将所述待分类当本进行划分,得到多个孤立树,由多个孤立树组合得到用于异常点检测的孤立森林模型。

7.根据权利要求1所述的数据异常更新检测方法,其特征在于,还包括:

若当前时间与目标接收端接收到所述第一通知信息或所述第二通知信息对应的消息接收时间之差超出预设的第一提醒时间周期、且未接收到目标接收端发送的故障处理反馈消息,将所述第一通知信息或所述第二通知信息发送至另一备选目标接收端。

8.一种数据异常更新检测装置,其特征在于,包括:

配置表接收单元,用于接收待检测数据任务配置表信息;其中,所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息,所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数;

第一配置表解析单元,用于解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称,根据所述目标Hive表名称获取对应目标Hive表的元数据信息;

第二配置表解析单元,用于解析获取所述元数据信息中的Hive表类型和数据文件信息;其中,所述Hive表类型包括分区表和非分区表,所述数据文件信息包括数据文件大小值和数据更新时间;

第一监测单元,用于若目标Hive表对应的数据表波动类型为非波动类型,调用预先训练的Prophet时间序列模型,获取目标Hive表的历史元数据信息,将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算,得到目标Hive表的预测元数据信息;

通知信息发送单元,用于若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值,或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值,将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端;以及第二监测单元,用于若目标Hive表对应的数据表波动类型为波动类型,获取目标Hive表对应的源数据,调用预先训练的孤立森林模型对所述源数据进行异常数据检测,得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据异常更新检测方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的数据异常更新检测方法。