1.一种基于磁盘的大数据存储方法,其特征在于,包括以下步骤:
步骤S1:获取从数据库存储容量;对从数据库存储容量进行数据分块,生成第一待存储区块节点;获取待存储大数据,将待存储大数据转化成请求交易数据包并发送至第一待存储区块节点;发送过程中将请求交易数据包广播至其他待存储区块节点;利用预设的共识节点将其他待存储区块节点与第一待存储区块节点进行数据对比,当数据不一致时,则基于共识节点进行共识处理,直至各节点数据一致,并将节点一致数据加密存储至从数据库;
步骤S2:利用监控工具实时获取从数据库磁盘状态数据;对加密存储过程的从数据库磁盘状态进行存储阵列故障分析,生成从数据库存储阵列故障数据;
步骤S3:利用磁盘映像工具扫描从数据库硬盘,得到从数据库虚拟硬盘;根据存储阵列故障数据对从数据库虚拟硬盘进行闪存颗粒损耗分析,得到闪存颗粒损耗数据;
步骤S4:基于闪存颗粒损耗数据对从数据库虚拟硬盘进行热保护机制设定,生成热保护机制数据;将热保护机制数据上传至从数据库,并将从数据库数据存储至主数据库,以执行大数据存储任务。
2.根据权利要求1所述的基于磁盘的大数据存储方法,其特征在于,步骤S1具体为:步骤S11:获取从数据库存储容量;
步骤S12:对从数据库存储容量进行垂直分库,其中垂直分库设定子库大小不超过5TB,生成待存储垂直分库数据;
步骤S13:基于垂直分库数据进行垂直分表,其中垂直分表设定表格大小不超过2TB,得到待存储垂直分表数据;
步骤S14:整合待存储垂直分库数据以及待存储垂直分表数据,得到第一待存储区块节点;
步骤S15:利用第一待存储区块节点对从数据库存储容量进行存储区块节点划分,按照固定比例1:1对从数据库存储容量进行分割,每个节点容量控制在2TB‑4TB,得到其他待存储区块节点;
步骤S16:获取待存储大数据,将待存储大数据转化成请求交易数据包并发送至第一待存储区块节点,数据包大小每个固定为500MB以内,发送过程中采用专用传输协议(TCP/IP)将请求交易数据包以固定广播速率500MB/s广播至其他待存储区块节点;
步骤S17:利用预设的共识节点将其他待存储区块节点与第一待存储区块节点进行数据对比,当数据不一致时,则基于共识节点进行共识处理,设定修复误差阈值为0.01%,直至各节点数据一致,并将节点一致数据加密存储至从数据库。
3.根据权利要求2所述的基于磁盘的大数据存储方法,其特征在于,步骤S17具体为:步骤S171:计算其他待存储区块节点与第一待存储区块节点的数据摘要,其中设定计算时间控制在2秒以内,得到其他待存储区块节点数据摘要以及第一待存储区块节点数据摘要;
步骤S172:整合其他待存储区块节点数据摘要以及第一待存储区块节点数据摘要,得到数据摘要,并将数据摘要广播给预设的共识节点,设置超时时间为5秒,得到共识节点数据摘要;
步骤S173:利用共识节点数据摘要对其他待存储区块节点与第一待存储区块节点进行数据摘要一致性判定,若数据摘要差异超过5%,得到不一致数据摘要,并利用第一待存储区块节点向共识节点发起共识请求,共识节点在5秒内回复投票结果,当满足协议要求的至少3/4节点同意数据更新时,确认达成一致,得到节点一致数据;
步骤S174:利用节点一致数据对不一致数据摘要进行数据修复,得到修复数据摘要;
步骤S175:对修复数据摘要进行加密,生成加密数据包,并存储至从数据库,其中加密过程设定数据包大小为500MB时不超过10秒。
4.根据权利要求1所述的基于磁盘的大数据存储方法,其特征在于,步骤S2具体为:步骤S21:利用监控工具采用每秒钟一次的采样周期获取从数据库磁盘状态数据,其中包括I/O性能数据以及磁盘健康状态数据;
步骤S22:对I/O性能数据进行存储阵列故障分析,得到I/O性能故障数据;
步骤S23:对磁盘健康状态数据进行存储阵列故障分析,得到磁盘存储阵列故障数据;
步骤S24:整合I/O性能故障数据以及磁盘存储阵列故障数据,生成从数据库存储阵列故障数据。
5.根据权利要求4所述的基于磁盘的大数据存储方法,其特征在于,步骤S22具体为:步骤S221:当出现以下任一情况时,判定为存储阵列读写性能异常,并获得存储阵列读写性能异常数据:顺序读写速度下降超过20%、随机访问延迟超过正常范围的30%、I/O队列深度长期处于满载状态且持续时间超过60分钟;
步骤S222:当同时出现以下情况时,判定为存储阵列控制器故障,并获得存储阵列控制器故障数据:控制器CPU利用率长期超过90%且响应时间异常延长、缓存命中率下降超过
25%、控制器与磁盘的通信错误频率持续增加,且无法在10分钟内恢复正常;
步骤S223:整合存储阵列读写性能异常数据以及存储阵列控制器故障数据,得到I/O性能故障数据。
6.根据权利要求4所述的基于磁盘的大数据存储方法,其特征在于,步骤S23具体为:步骤S231:对磁盘健康状态数据进行磁盘转速特征提取,从而获得磁盘转速数据;
步骤S232:利用磁盘技术文档获取磁盘标准转速范围数据;
步骤S233:根据磁盘标准转速范围数据对磁盘转速数据进行异常波动识别,若转速波动超过磁盘标准转速范围±5%,则生成转速异常波动数据;
步骤S234:根据转速异常波动数据进行磁盘物理损耗评估,从而获得磁盘损耗数据;
步骤S235:基于磁盘损耗数据对磁盘健康状态数据进行存储阵列故障判定,当磁盘损耗评分超过60%,则得到磁盘存储阵列故障数据。
7.根据权利要求6所述的基于磁盘的大数据存储方法,其特征在于,步骤S234具体为:统计转速异常波动数据的频率,其中设定采样周期为每分钟采集一次,得到频率数据;
统计转速异常波动数据的波动时间,其中设定波动时间大于5秒为有效波动,得到波动时间数据;
基于频率数据以及波动时间数据构建磁盘物理损耗评估模型,其中频率对损耗影响的权重设定为70%,波动时间对损耗的影响权重设定为30%;
根据磁盘物理损耗评估模型对转速异常波动数据进行损耗评估:评估31%‑50%为轻微损耗数据,评估51%‑70%为中度损耗数据,评估71%‑100%为严重损耗数据;
整合轻微损耗数据、中度损耗数据以及严重损耗数据,得到磁盘损耗数据。
8.根据权利要求1所述的基于磁盘的大数据存储方法,其特征在于,步骤S3具体为:步骤S31:获取从数据库虚拟硬盘的映像文件,并使用磁盘映像工具解析映像文件,从而获得从数据库虚拟硬盘;
步骤S32:根据存储阵列故障数据进行闪存写入次数特征提取以及擦除周期特征提取,得到闪存写入次数数据以及擦除周期数据;
步骤S33:对闪存写入次数数据进行累计写入次数统计,得到累计写入次数数据;
步骤S34:基于累计写入次数数据进行闪存颗粒使用寿命评估,得到闪存颗粒使用寿命数据;
步骤S35:对擦除周期数据进行闪存颗粒划分,若闪存颗粒的擦除周期超过1000次,则得到大周期颗粒数据;若闪存颗粒的擦除周期少于1000次,则得到小周期闪存颗粒数据;
步骤S36:根据大周期闪存颗粒数据以及小周期闪存颗粒数据进行擦除不均衡性分析,得到擦除不均衡性数据;
步骤S37:整合闪存颗粒使用寿命数据以及擦除不均衡性数据,生成闪存颗粒损耗数据。
9.根据权利要求8所述的基于磁盘的大数据存储方法,其特征在于,步骤S36具体为:步骤S361:根据大周期闪存颗粒数据进行擦除次数统计,得到大周期擦除次数数据;
步骤S362:根据小周期闪存颗粒数据进行擦除次数统计,得到小周期擦除次数数据;
步骤S363:基于大周期擦除次数数据以及小周期擦除次数数据对数据库虚拟硬盘进行分布图绘制,得到周期擦除分布图;
步骤S364:对周期擦除分布图进行闪存颗粒不均衡性计算,得到擦除不均衡性数据。
10.一种基于磁盘的大数据存储系统,其特征在于,用于执行如权利要求1所述的一种基于磁盘的大数据存储方法,该基于磁盘的大数据存储系统包括:数据加密存储模块,获取从数据库存储容量;对从数据库存储容量进行数据分块,生成第一待存储区块节点;获取待存储大数据,将待存储大数据转化成请求交易数据包并发送至第一待存储区块节点;发送过程中将请求交易数据包广播至其他待存储区块节点;利用预设的共识节点将其他待存储区块节点与第一待存储区块节点进行数据对比,当数据不一致时,则基于共识节点进行共识处理,直至各节点数据一致,并将节点一致数据加密存储至从数据库;
存储阵列故障分析模块,利用监控工具实时获取从数据库磁盘状态数据;对加密存储过程的从数据库磁盘状态进行存储阵列故障分析,生成从数据库存储阵列故障数据;
闪存颗粒损耗分析模块,利用磁盘映像工具扫描从数据库硬盘;根据存储阵列故障数据对从数据库硬盘进行闪存颗粒损耗分析,得到闪存颗粒损耗数据;
热保护机制设定模块,基于闪存颗粒损耗数据对从数据库硬盘进行热保护机制设定,生成热保护机制数据;将热保护机制数据上传至从数据库,并将从数据库数据存储至主数据库,以执行大数据存储任务。