利索能及
我要发布
收藏
专利号: 2023101823630
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据中台中大规模异构数据的存储方法,其特征在于,包括如下步骤:a)在数据中台中安装一个数据采集框架,数据采集框架中包含N个数据采集设备,第i个数据采集设备为si,i={1,2,…,N},si∈S,S为数据采集设备的集合,数据中台通过数据采集框架实时采集各种不同结构的原始数据为DRAW,从第i个数据采集设备si中采集的原始数据为di,di∈DRAW;

b)对原始数据DRAW按照两级嵌套无向图结构的空间关系进行空间联系映射,得到经过空间联系映射的异构数据DG;

c)对异构数据DG在时间维度上进行重叠时序切分,得到时序数据段DTSEGt,将切分后的时序数据段DTSEGt写入数据存储集群的数据存储节点中储存;

d)将时序数据段DTSEGt中第u个数据采集设备所采集的原始数据du构造为一个时空管理单元U,du∈DRAW,时空管理单元U的自身属性包括数据段起始时间TUSTS、数据段终止时间TUETS及优先级分数A;

e)设定系统的存储和算力资源由数据中台在时空管理单元U层面上进行统一管理的管理规则;

f)设定时空管理单元U的优先级分数A的变化规则。

2.根据权利要求1所述的数据中台中大规模异构数据的存储方法,其特征在于:步骤a)中数据采集设备为传感器、生产设备、监控、接口应用程序、网络爬虫,据采集框架实时采集包括传感器数据采集、生产设备信息采集、现场监控视频采集、接口应用程序接入采集、网络爬虫采集。

3.根据权利要求1所述的数据中台中大规模异构数据的存储方法,其特征在于,步骤b)包括如下步骤:b‑1)具有空间联系的各个数据采集设备所采集的数据构成集合D′RAW,集合D′RAW中各个数据采集设备所采集的数据作为内层图结构DINNER的顶点,以集合D′RAW各个数据采集设备所采集的数据之间的空间联系作为内层图结构DINNER的边,DINNER=(D′RAW,EINNER),EINNER为内层图结构的边的集合, 为第i个设备组,dn为第n个数据采集设备所采集的数据,dn∈DRAW,为第n个数据采集设备所采集的数据与第m个数据采集设备所采集的数据之间的边,dm∈DRAW,∈EINNER,各个设备组构成内层图结构DINNER;b‑2)将内层图结构DINNER的边的集合EINNER赋以权,权的值为集合D′RAW中第n个数据采集设备dn所采集的数据与第m个数据采集设备dm所采集的数据之间的空间距离,n={1,2,...,N},m={1,2,...,N},第n个数据采集设备dn所采集的数据与第m个数据采集设备dm所采集的数据之间的空间距离定义为二者之间的最短路径XGnm;

b‑3)将第i个设备组 作为外层图结构DG的顶点,将第i个设备组 与第j个设备组 之间的空间联系为ETL,将ETL作为外层图结构DG的边,DG=(DS,ETL),DS为系统中所有设备组的集合。

4.根据权利要求1所述的数据中台中大规模异构数据的存储方法,其特征在于,步骤c)包括如下步骤:c‑1)初始化若干新时序数据段,t时序的时序数据段为DTSEGt,时序数据段DTSEGt初始化时,将其写入相邻的上一个时序t‑1时序的时序数据段DTSEGt‑1中时间上后50%的数据;

c‑2)将异构数据DG按照时间顺序写入时序数据段DTSEGt中,直到该时序数据段DTSEGt达到指定的时间单位长度L,记录时序数据段DTSEGt中所写入的异构数据DG的起始时间TDSTS和终止时间TDETS;

c‑3)将时序数据段DTSEGt写入数据存储集群的数据存储节点中储存,且将时序上相邻的时序数据段DTSEGt与时序数据段DTSEGt‑1存储在不同的数据存储节点。

5.根据权利要求4所述的数据中台中大规模异构数据的存储方法,其特征在于,步骤d)包括如下步骤:d‑1)从时序数据段DTSEGt中获取第u个数据采集设备所采集的原始数据du用来构建时空理单元U;

d‑2)从时序数据段DTSEGt中获取写入的异构数据DG的起始时间TDSTS和终止时间TDETS,将起始时间TDSTS作为时空理单元U的数据段起始时间TUSTS,将终止时间TDETS作为时空理单元U的数据段终止时间TUETS;

d‑3)初始化时空理单元U的优先级分数A,优先级分数A范围区间为[0.00,1.00]。

6.根据权利要求1所述的数据中台中大规模异构数据的存储方法,其特征在于:步骤e)中系统的存储和算力资源为内存、CPU、磁盘。

7.根据权利要求1所述的数据中台中大规模异构数据的存储方法,其特征在于,步骤e)包括如下步骤:e‑1)设定系统对时空管理单元U的存储规则为:

e‑1.1)当时空管理单元U的优先级分数A处于区间[0.80,1.00]时,对该时空管理单元U进行额外的数据备份;

e‑1.2)当时空管理单元U的优先级分数A小于0.80时,时空管理单元U不进行额外的数据备份,通过其时序上前后相邻的两个时空管理单元U中的重叠数据进行备份;

e‑1.3)当时空管理单元U的优先级分数A小于0.10时,系统提示数据管理员该时空管理单元U的优先级分数A较低,由数据管理员选择是否删除该时空管理单元U;

e‑2)设定系统在时空管理单元U被访问和分析时的算力资源分配规则为:

e‑2.1)当时空管理单元U的优先级分数A等于1.00时,该时空管理单元U被读取和处理时所分配的算力资源为FU;

e‑2.2)通过公式F=A×FU计算得到时空管理单元U被读取和处理时所分配的算力资源F。

8.根据权利要求1所述的数据中台中大规模异构数据的存储方法,其特征在于,步骤f)包括如下步骤:f‑1)设定时空管理单元U的优先级分数A随时间推移发生变化的规则:

f‑1.1)通过公式 计算得到时空管理单元U的优先级分

数A,式中ARAW为时空管理单元U上次被初始化或因被访问而调整或被手动调整的优先级分数,α为参数,XTLAP为时空管理单元U上次被初始化或因被访问而调整或被手动调整优先级分数的时间与当前时间之间的距离,所述距离为L;

f‑2)在空间维度上对处于同一个设备组 中的数据的时空管理单元U的优先级分数A进行调整,调整规则为:其中,ASRC为需要调整时空管理单元U调整之前的优先级分数,XTDFT为需要调整时空管理单元U与被访问的时空管理单元U在时间维度上以L为单位的距离,XGDFT为需要调整时空管理单元U与被访问的时空管理单元U在空间维度的无向连通图中的最短路径长度,TH为阈值,σ为参数。