利索能及
我要发布
收藏
专利号: 2024119603663
申请人: 河北雄安廷云信息技术有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种云端大数据存储管理方法,其特征在于,包括:

S101,收集与云端连接的所有终端节点在预设历史时段内所有时间窗口的通信记录,通信记录包括通信时段、通信时长、通信数据量及其稳定指数,生成每个终端节点的多元访问习惯特征向量,包括活跃时段、平均通信时长、平均通信数据量、平均稳定指数;S102,基于所有终端节点的多元访问习惯特征向量,利用预设的分类模型对其进行分类,得到若干终端节点分组,并对每个终端节点分组进行标签标注,标注内容设置为中心特征向量;

S103,基于所有终端节点分组,调取每个终端节点分组的中心特征向量,选择其活跃时段与当前时间节点满足适配条件的终端节点分组作为第一目标对象,适配条件为:当前时间节点位于活跃时段内,基于第一目标对象中所有终端节点与云端,构建第一节点网络;选择其稳定指数大于稳定阈值的终端节点分组作为第二目标对象,在第二目标对象中确定最大活跃时段覆盖率组合,基于最大活跃时段覆盖率组合中的所有终端节点分组内的终端节点与云端,构建第二节点网络;第一节点网络用于对数据进行分布式存储,第二节点网络用于对数据进行分布式备份;

S104,实时监测并获得目标数据及其溯源点,根据预先设置的差异化溯源处理决策,生成目标数据的关联处理指令,关联处理指令包括存储、备份、转发;利用第一节点网络进行目标数据的存储:基于第一节点网络中的所有终端节点的多元访问习惯特征向量,筛选出活跃时段与当前时间节点满足适配条件的终端节点作为分布存储节点;基于第一分配算法,将目标数据进行切割得到若干数据块并分配至对应分布存储节点进行存储;对每个数据块进行唯一标识符标注并记录其对应的分布存储节点生成索引链接,将目标数据的所有数据块的唯一标识符、分别对应的索引链接确定为目标数据的存储索引信息,唯一标识符用于对所有数据块进行组合得到原本完整的目标数据;

利用第二节点网络进行目标数据的备份:基于最大活跃时段覆盖率组合中终端节点分组的数量,确定目标数据的备份源的数量,每个备份源用于进行一次目标数据的备份;基于每个备份源,将其中的所有终端节点作为分布备份节点;基于第二分配算法,将目标数据进行切割得到若干数据块并分配至对应分布备份节点进行备份;生成目标数据的所有备份源,并对每个备份源中所有数据块进行唯一标识符标注并记录其对应的分布备份节点生成索引链接,将目标数据的备份源、备份源中所有数据块的唯一标识符、数据块分别对应的索引链接确定为目标数据的备份索引信息,唯一标识符用于对所有数据块进行组合得到原本完整的目标数据;

第一分配算法包括:S1、根据以下公式计算得到目标数据块切割的所有数据块的大小:

,为每个分布存储节点分配到的数据块大小,D为目标数据的大小,为第i个分布存储节点的稳定指标,N为分布存储节点的总数量;S2、基于目标数据的切割大小,按照预设顺序依次进行切割得到N个数据块,并基于每个数据块的大小分配该大小对应的分布存储节点中进行存储;

第二分配算法包括:S3、根据以下公式计算得到目标数据块在每个备份源内切割的所有数据块的大小: , 为该备份源中每个分布备份节点分配到的数据块大小,D为目标数据的大小,为该备份源中第j个分布备份节点的稳定指标,M为该备份源中分布备份节点的总数量;S4、针对每个备份源,基于目标数据对应的切割大小,按照预设顺序依次进行分割得到M个数据块,并基于每个数据块的大小分配该大小对应的分布备份节点中进行存储;

S105,按照预先设置的时间间隔,周期性地执行步骤S101至步骤S104。

2.如权利要求1所述的云端大数据存储管理方法,其特征在于,所述生成每个终端节点的多元访问习惯特征向量,包括:A1、获得该终端节点收集的所有通信记录中的通信时段,绘制通信时间分布图,获得密集度大于密集阈值的通信时间,组成活跃时段;

A2、获得每次通信数据量的通信成功率作为数据通信的稳定指数;

A3、获得通信记录中在活跃时段内的所有通信时长、通信数据量、稳定指数,分别取平均得到平均通信时长、平均通信数据量、平均稳定指数;

A4、基于每个终端节点的活跃时段、平均通信时长、平均通信数据量、平均稳定指数,构成多元访问习惯特征向量。

3.如权利要求2所述的云端大数据存储管理方法,其特征在于,所述预设的分类模型设置为K‑means聚类算法,所述S102具体包括:将所有多元访问习惯特征输入至分类模型中,生成k个聚类结果,每个聚类对应一个终端节点分组,将每个聚类的聚类中心作为对应终端节点分组的标签。

4.如权利要求2所述的云端大数据存储管理方法,其特征在于,根据预先设置的差异化溯源处理决策,生成目标数据的关联处理指令,具体包括:S201,若溯源点为终端节点,利用第一节点网络和第二节点网络分别进行目标数据的存储和备份,生成目标数据的索引信息并更新到预先设置的云端索引库中;索引信息包括存储索引信息、备份索引信息;

S202,若溯源点为云端,调取云端索引库中目标数据的索引信息转发至目标终端节点。

5.如权利要求1所述的云端大数据存储管理方法,其特征在于,所述S2中,预设顺序的获取方式包括:对目标数据进行内容分析,将其划分为多个子块,使得每个子块包含相对独立的数据部分;

计算每个子块对目标数据的重要贡献因子:将子块在目标数据中的内容占比、业务价值、与其溯源点的历史上传数据的相似度进行加权求和,得到该子块的重要贡献因子;

按照子块在目标数据内的顺序依次得到每个子块的重要贡献因子,形成重要贡献因子序列;

基于重要贡献因子序列中所有元素的大小,得到其综合重要走向,将综合重要走向的方向确定为预设顺序;

其中,综合重要走向的确定方式包括:

获得所有重要贡献因子的平均值,作为重要阈值;判断大于重要阈值的重要贡献因子在重要贡献因子序列中的位置,若位置靠前,则将降序确定为综合重要走向,若位置靠后,则将升序确定为综合重要走向。

6.如权利要求5所述的云端大数据存储管理方法,其特征在于,所述S2还包括:

S301,将按照预设顺序切割目标数据的所有切割点确定为初始切割轴,初始切割点轴上依次设置有所有切割点,每两个相邻切割点形成一个切割区间段,每个切割区间段对应一个初始数据块;

S302,记录每个切割区间段内落入的子块及其重要贡献因子,计算得到每个切割区间段的综合重要贡献程度;

S303,基于每个切割区间段的综合重要贡献程度、初始数据块大小占比、对应分配的分布存储节点的稳定指标,生成切割区间段的映射特征向量,输入至预先训练完成的映射关系异常识别模型中,输出切割区间段的识别结果,识别结果包括正常和异常及其异常类型,异常类型设置为综合重要贡献程度超标及其超标比例,或者综合重要贡献程度短缺及其短缺比例;

S304,基于识别结果获得异常切割区间段,利用预先设置的局部调整策略,更新异常切割区间段的初始数据块的大小为目标尺寸,得到目标数据块;

S305,更新目标数据的初始切割点轴上的切割区间段,得到目标切割点轴,依据目标切割点轴对目标数据进行切割,得到N个数据块。

7.如权利要求6所述的云端大数据存储管理方法,其特征在于,所述预先训练完成的映射关系异常识别模型的获取方式,包括:E1、收集历史上终端节点被分配的大量数据块对应的切割区间段的映射特征向量,基于每个历史映射特征向量,对其进行标签标注,标注内容设置为正常、异常及其异常类型;

E2、将标注后的映射特征向量作为训练集,利用训练集对预先选择的神经网络结构进行训练,优化模型参数,生成最终的映射关系异常识别模型;

所述预先设置的局部调整策略,包括:

D1、获得异常切割区间段的异常类型,若异常类型为综合重要贡献程度超标,则利用第一局部调整算法,得到目标尺寸;若异常类型为综合重要贡献程度短缺,则利用第二局部调整算法,得到目标尺寸;

D2、动态移动切割区间段的基准点,使该切割区间段对应的初始数据块大小调整至目标尺寸,得到目标数据块。