利索能及
我要发布
收藏
专利号: 2025103282440
申请人: 合肥橘云软件科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种矿产勘查数据优化存储方法,其特征在于:包括以下步骤:S1、根据钻探的深度段j进行深度分层,并设置压缩策略,提取矿产勘查数据,根据矿产勘查数据的钻探深度进行定义深度段j的压缩策略,对矿产勘查数据进行标记为不同深度分层;

S2、通过构建压缩算法,进行设置不同深度段的矿产勘查数据的压缩比率R,再基于压缩比率R进行计算输出的存储容量C,对不同深度段j的矿产勘查数据的对存储大小进行压缩调整;

S3、基于矿产勘查数据的访问频率,计算输出t+1时刻的预测访问频率A(t+1),并设置频率阈值Tth与t+1时刻的预测访问频率A(t+1)进行初步对比评估,并基于评估结果执行存储策略;

S4、计算矿产勘查数据的相似度S,并设置去重规则,执行去重公式,计算去重压缩存储容量D,进行去重优化存储;

S5、提取优化后的存储效应数据,并进行计算输出存储节省率和查询时间优化系数,再将存储节省率和查询时间优化系数进行综合计算输出存储优化系数Ftotal,并基于存储优化系数Ftotal的输出结果进行二次对比评估,分析存储优化效果。

2.根据权利要求1的一种矿产勘查数据优化存储方法,其特征在于:S1包括S11和S12;

S11、依据不同钻探的深度段j,进行深度分层;

深度分层包括浅层、中层和深层;

浅层的深度段j为地下0m‑100m;

中层的深度段j为地下100m‑200m;

深层的深度段j为地下200m以下;

其中,m表示米

在根据不同深度分层进行设计不同存储层次的压缩策略;

压缩策略包括浅层压缩策略、中层压缩策略和深层压缩策略;

浅层压缩策略通过采用PNG无损压缩;

中层压缩策略通过采用LZ4压缩算法进行有损压缩;

深层压缩策略通过使用Huffman编码进行分区存储;

S12、基于设计好的深度分层和压缩策略,对矿产勘查数据钻探深度进行深度分层标记,将不同矿产勘查数据的钻探位置w进行标记为不同的存储压缩策略,具体标记方法如下;

当0m≤第i矿产勘查数据的第w钻探位置<100m时,表示第i矿产勘查数据处于浅层深度段j,将第i矿产勘查数据标记为1;

当100m≤第i矿产勘查数据的第w钻探位置<200m时,表示第i矿产勘查数据处于中层深度段j,将第i矿产勘查数据标记为2;

当第i矿产勘查数据的第w钻探位置≥200m时,表示第i矿产勘查数据处于深层深度段j,将第i矿产勘查数据标记为3;

其中,w表示钻探位置,1表示浅层,执行浅层压缩策略,2表示中层,执行中层压缩策略,

3表示深层,执行高层压缩策略。

3.根据权利要求2的一种矿产勘查数据优化存储方法,其特征在于:S2包括S21和S22;

S21、采集钻探不同深度段j的矿产勘查数据,提取矿产勘查数据的数据特征,矿产勘查数据的数据特征包括数值型、图像型和文本型数据,基于矿产勘查数据的数据特征进行统计分析,计算矿产勘查数据的数据特征的概率分布,在基于概率分布计算第i矿产勘查数据的Shannno熵Hi,进行量化数据复杂度;

基于第i矿产勘查数据的Shannno熵Hi结合矿产勘查数据的复杂度,进行设置不同深度段j的压缩比率R;

压缩比率R调整公式为: ;其中,wi表示第i矿产勘查数据的第w钻探位置,取值无量纲,Rj表示深度段j的压缩比率,Hi表示第i矿产勘查数据的Shannno熵, 表示深度段j的压缩比率上限控制因子,e表示指数函数, 表示深度段j的基准压缩阻尼因子,表示深度段j的压缩程度的因子。

4.根据权利要求3的一种矿产勘查数据优化存储方法,其特征在于:S22、提取矿产勘查数据的原始存储容量,基于不同深度段j的压缩比率Rj进行针对不同钻探位置w的第i矿产勘查数据,进行计算输出存储压缩的存储容量C,调整不同深度段j的矿产勘查数据的存储容量C;

存储容量C通过以下算法公式计算输出;

式中,C(i,w,j)表示第i矿产勘查数据的第w钻探位置在深度段j的存储容量,即经过压缩后的存储容量,C(w,i)表示第w钻探位置的第i矿产勘查数据的原始存储容量。

5.根据权利要求4的一种矿产勘查数据优化存储方法,其特征在于:S3包括S31和S32;

S31、提取矿产勘查数据的历史访问频率数据,在根据历史访问频率数据和时间窗口,进行计算输出预测不同深度段j的矿产勘查数据的t+1时刻的预测访问频率A(t+1);

t+1时刻的预测访问频率A(t+1)通过以下算法公式计算输出;

式中,Ai(t+1)表示第i矿产勘查数据在t+1时刻的预测访问频率,Ai(t)表示第i矿产勘查数据当前时刻t的访问频率,a表示平滑因子, 表示访问频率的函数映射,N表示时间窗口总数,k表示第k个时间窗口,Ai(t‑k)表示第i矿产勘查数据过去k个时间窗口的访问频率。

6.根据权利要求1的一种矿产勘查数据优化存储方法,其特征在于:S32、提取每个矿产勘查数据在过去30天内的访问次数均值和标准差,进行设置频率阈值Tth,频率阈值Tth通过以下算法公式动态设置:Tth=uA+p*gA,其中,uA表示过去30天的访问次数的均值,gA表示过去30天的访问次数的标准差,p表示调整系数,由用户进行设置,无量纲值;

再将频率阈值Tth与第i矿产勘查数据在t+1时刻的预测访问频率Ai(t+1)进行初步对比评估,并根据初步对比评估结果执行存储策略,存储策略包括第一存储策略和第二存储策略,具体评估内容如下;

当第i矿产勘查数据在t+1时刻的预测访问频率Ai(t+1)>频率阈值Tt时,此时执行第一存储策略;

当第i矿产勘查数据在t+1时刻的预测访问频率Ai(t+1)≤频率阈值Tt时,此时执行第二存储策略;

其中,第一存储策略用于将第i矿产勘查数据存储至SSD固态硬盘存储,第二存储策略用于将第i矿产勘查数据存储至HDD机械硬盘。

7.根据权利要求6的一种矿产勘查数据优化存储方法,其特征在于:S4包括S41和S42;

S41、在矿产勘查数据存储过程中,使用余弦相似度进行计算不同矿产勘查数据之间的相似度S,具体算法为: ,其中,Sib表示第i矿产勘查数据和第b矿产勘查数据的相似度,xi表示第i矿产勘查数据的特征向量,xb表示第b矿产勘查数据的特征向量;

并设置去重规则,基于相似度S的输出结果,进行触发去重公式;

去重规则如下;

第i矿产勘查数据和第b矿产勘查数据的相似度Sib=1时,表示完全相同,只存储一次数据;

第i矿产勘查数据和第b矿产勘查数据的相似度Sib=0时,表示完全不同,完整存储不进行去重;

第i矿产勘查数据和第b矿产勘查数据的相似度Sib>0.8时,强制触发去重公式;

0.5<第i矿产勘查数据和第b矿产勘查数据的相似度Sib≤0.8时,此时合并存储,自动去除相同部分数据;

第i矿产勘查数据和第b矿产勘查数据的相似度Sib≤0.5时,表示低相似度,不去重优化;

S42、当触发去重公式后,则提取第i矿产勘查数据的第w钻探位置在深度段j的存储容量C(i,w,j)输入去重公式中,进行计算输出去重压缩存储容量D;

去重压缩存储容量D通过以下去重公式计算输出;

式中,D(i,j)表示第i矿产勘查数据再深度段j的去重压缩存储容量,bup表示去重权重系数,决定去重强度,bup=1,完全去重,bup<1,则部分去重,buo=0则不去重。

8.根据权利要求6的一种矿产勘查数据优化存储方法,其特征在于:S5包括S51和S52;

S51、再去重优化后,提取存储效应数据,并进行无量纲处理后,进行计算输出并进行计算输出存储节省率和查询时间优化系数,再将存储节省率和查询时间优化系数进行综合计算输出存储优化系数Ftotal,进行整体分析存储优化情况;

存储效应数据包括存储成本系数P、优化前查询时间Told和优化后查询时间Tnew;

存储优化系数Ftotal通过以下算法公式计算输出;

式中,F1和F2分别表示存储节省率和查询时间优化系数的预设权重值,Pj表示深度段j对应的存储成本系数。

9.根据权利要求8的一种矿产勘查数据优化存储方法,其特征在于:S52、基于优化目标由用户进行设置优化阈值TF,并将优化阈值TF与存储优化系数Ftotal的输出结果进行二次对比评估,分析存储的优化效果,并根据评估结果进行调整策略,具体评估内容如下;

当存储优化系数Ftotal≥优化阈值TF时,表示优化效果正常,此时采用当前优化存储策略;

当存储优化系数Ftotal<优化阈值TF时,表示优化效果异常,此时基于去重压缩存储容量D,二次执行去重公式,迭代执行S41和S5,当第三次迭代处于优化效果异常时,此时将三次去重后,生成预警信息提示运维人员对矿产勘查数据进行针对性的调整存储策略。

10.一种矿产勘查数据优化存储系统,应用于权利要求1‑9任一项的一种矿产勘查数据优化存储方法,其特征在于:包括深度分层模块、压缩策略存储优化模块、存储策略执行模块、去重优化模块和综合评估模块;

深度分层模块通过根据钻探的深度段j进行深度分层,并设置压缩策略,提取矿产勘查数据,根据矿产勘查数据的钻探深度进行定义深度段j的压缩策略,对矿产勘查数据进行标记为不同深度分层;

压缩策略存储优化模块通过构建压缩算法,进行设置不同深度段的矿产勘查数据的压缩比率R,再基于压缩比率R进行计算输出的存储容量C,对不同深度段j的矿产勘查数据的对存储大小进行压缩调整;

存储策略执行模块通过基于矿产勘查数据的访问频率,计算输出t+1时刻的预测访问频率A(t+1),并设置频率阈值Tth与t+1时刻的预测访问频率A(t+1)进行初步对比评估,并基于评估结果执行存储策略;

去重优化模块通过计算矿产勘查数据的相似度S,并设置去重规则,执行去重公式,计算去重压缩存储容量D,进行去重优化存储;

综合评估模块通过提取优化后的存储效应数据,并进行计算输出存储节省率和查询时间优化系数,再将存储节省率和查询时间优化系数进行综合计算输出存储优化系数Ftotal,并基于存储优化系数Ftotal的输出结果进行二次对比评估,分析存储优化效果。