1.一种大数据场景下的数据信息存储方法,其特征在于:包括以下步骤:
S1:采集存储空间、存储地址和存储数据信息;
S2:分析存储数据间的逻辑关系,构建链式存储结构;
S3:判断数据是否需要分块存储:若不需要,按原链式存储结构存储数据;若需要,拆分链式存储结构,控制对应数据进行分块存储;
S4:实时监测数据的变化情况和被调取情况,在数据变化异常时进行预警;
S5:对数据变化进行溯源,预留存储地址;
在步骤S1‑S2中:利用存储空间采集单元采集到待存储的空间容量为W,利用存储地址采集单元采集到存储空间中默认分配的存储单元集合为a={a1,a2,…,an},其中,n表示默认分配的存储单元数量,利用存储数据采集单元采集到待存储的数据集为A={A1,A2,…,’ ’ ’ ’Am},共有m种数据,m种数据的容量集合为W={W1,W2,…,Wm},利用逻辑关系分析单元分析待存储数据间的逻辑关系:获取到数据被调取总次数为K,选取随机两种数据Ai和Aj,统计到随机两种数据被同时调取的次数为k,根据下列公式计算随机两种数据间的逻辑关系系数Qi:其中,sim(Ai,Aj)表示数据Ai和数据Aj间的相关系数,sim(Ai,Aj)的范围为(0,1],得到待存储的数据集中数据的逻辑关系系数集合为Q={Q1,Q2,…,Qm×(m‑1)/2},设置逻辑关系’ ’ ’系数阈值为Q,其中, 比较Qi和Q:若Qi≤Q,说明对应两种数据间的逻辑
’
关系系数未超过阈值;若Qi>Q,说明对应两种数据间的逻辑关系系数超过阈值,在逻辑关系系数超出阈值的数据间设置指针,通过指针连接对应数据,构建链式存储结构;
在步骤S3中:利用数据分块判断单元判断是否需要进行数据分块存储:统计到逻辑关系系数超出阈值的数据有M组,得到指针个数为:M,采集到每个指针的存储容量为w,选取随’ ’机两种通过指针连接的数据Ai和Ai+1,得到对应数据被调取的总次数分别为Ki和Ki+1,被同’时调取的次数为k,根据下列公式计算构建链式存储结构后的剩余存储空间容量W剩:
’
其中,Wi表示m种数据中随机一种数据的容量,W表示待存储的空间容量,比较W剩和W:若说明剩余存储空间超过待存储空间的1/3,不进行分块存储;若 说明剩余存储空间未超过待存储空间的1/3,判断需要进行分块存储,若判断需要进行分块存储:根据下列公式计算对数据Ai和Ai+1进行分块存储的必要系数Fi:其中,K表示已存储的数据被调取的总次数,得到对通过指针连接的数据进行分块存储的必要系数集合为F={F1,F2,…,FM},设置必要系数阈值为 比较Fi和 其中,若 说明对数据Ai和Ai+1进行分块存储的必要系数超出阈值,将数据Ai和Ai+1进行分块存储:删除数据Ai和Ai+1之间的指针。
2.根据权利要求1所述的一种大数据场景下的数据信息存储方法,其特征在于:在步骤S4‑S5中:利用变化动态监测单元实时监测存储数据的变化情况:在监测到存储的数据被删除时,确认被删除数据存储在存储单元ai中,利用变化预警单元发送预警信号至数据变化溯源单元中,所述数据变化溯源单元在接收到数据变化的预警信号后,查询数据被删除的原因。
3.根据权利要求2所述的一种大数据场景下的数据信息存储方法,其特征在于:若被删除数据存在指针,确认指针指向的存储单元为aj,若在存储数据被删除后,且在连接好因被删除数据而中断的存储链路前,监测到存储在aj中的数据被调取,统计到存储在aj中的数据被调取的次数为N,若N>K/2,利用变化预警单元发送预警信号至地址预留分析单元中,利用所述地址预留分析单元设置预留存储地址:获取到指向被删除数据的指针共有p个,指针对应的数据分别在所处存储链路的第{f1,f2,…,fp}个节点上,指针对应的数据被调取的’ ’ ’ ’次数集合为N={N1 ,N2,…,Np},根据下列公式计算在随机一个指向被删除数据的指针对应的数据存储单元上预留存储地址的可行系数Ei:’
其中,Ni表示随机一个指向被删除数据的指针对应的数据被调取的次数,fi表示指针对应的数据在所处存储链路的第fi个节点上,得到可行系数集合为E={E1,E2,…,Ep},筛选出最高可行系数为Emax,在最高可行系数对应的数据存储单元上预留aj的存储地址。
4.一种大数据场景下的数据信息存储系统,应用于如权利要求1所述的一种大数据场景下的数据信息存储方法,其特征在于:所述系统包括:数据信息采集模块、数据库、数据存储规划模块、数据动态监测模块和异常处理模块;
所述数据信息采集模块用于采集存储空间、存储地址和存储数据类型信息,将采集到的所有信息传输到所述数据库中;
所述数据库用于存储并管理接收到的数据,供所述数据存储规划模块调取;
所述数据存储规划模块用于分析存储数据间的逻辑关系,规划数据存储方式并存储数据;
所述数据动态监测模块用于实时监测已存储数据的动态变化情况,在数据动态发生变化时发送预警信号至所述异常处理模块中;
所述异常处理模块用于对数据变化情况进行溯源,并分析是否需要为数据预留存储地址:若需要预留存储地址,规划预留存储地址的位置。
5.根据权利要求4所述的一种大数据场景下的数据信息存储系统,其特征在于:所述数据信息采集模块包括存储空间采集单元、存储地址采集单元和存储数据采集单元,所述存储空间采集单元用于采集数据存储的空间容量数据;所述存储地址采集单元用于采集存储空间中默认分配的存储地址数据;所述存储数据采集单元用于采集待存储的数据类型。
6.根据权利要求4所述的一种大数据场景下的数据信息存储系统,其特征在于:所述数据存储规划模块包括逻辑关系分析单元、整体链路规划单元、数据分块判断单元和分块存储控制单元,所述逻辑关系分析单元用于调取采集到的待存储数据类型,并分析待存储数据间的逻辑关系,将分析结果传输到所述整体链路规划单元中;所述整体链路规划单元用于依据待存储数据间的逻辑关系,设置指针,构建链式存储结构,将数据进行链式存储;所述数据分块判断单元用于依据数据的被调取情况,判断是否需要进行数据分块存储,若判断结果为需要分块存储数据,通过所述分块存储控制单元控制对应数据进行分块存储。
7.根据权利要求4所述的一种大数据场景下的数据信息存储系统,其特征在于:所述数据动态监测模块包括变化动态监测单元、调取数据监测单元和变化预警单元,所述变化动态监测单元用于实时监测进行链式存储的数据变化情况:在存储的数据被删除时,利用所述变化预警单元发送预警信号至所述异常处理模块中;所述调取数据监测单元用于实时监测进行链式存储的数据被调取情况:若在存储数据被删除后,且在连接好因删除数据而中断的存储链路前,被删除数据的指针指向的数据被调取,通过所述变化预警单元发送预警信号至所述异常处理模块中。
8.根据权利要求4所述的一种大数据场景下的数据信息存储系统,其特征在于:所述异常处理模块包括数据变化溯源单元和地址预留分析单元,所述数据变化溯源单元用于在接收到数据变化的预警信号后,查询进行链式存储的数据变化原因;所述地址预留分析单元用于在接收到被删除数据的指针指向的数据被调取的预警信号后,分析是否需要为指向的数据设置预留存储地址:若需要预留存储地址,规划存储地址的预留位置。