1.一种基于服务器的数据管理系统,其特征在于,包括数据采集模块、结构分类模块、拆分判断模块以及存储切换模块,各模块之间信号连接;
数据采集模块用于采集存储数据内数据文件的文件名关键字前后缀以及传输时间间隔并将其传入结构分类模块,当接收到结构分类模块传入的分类结果后检测存储数据内所有数据文件的规范处理算法以及联合调用频次传入拆分判断模块;
结构分类模块根据存储数据内数据文件的文件名关键字前后缀以及传输时间间隔对存储数据进行分类,将分类结果传回数据采集模块;
拆分判断模块根据存储数据内所有数据文件的规范处理算法分析同种规范处理算法的最大处理占比,综合存储数据的最大处理占比以及联合调用频次判断是否将存储数据通入拆分存储机制,将判断结果传入存储切换模块;
存储切换模块根据判断结果选择结构存储法进行储存或进行数据拆分,数据拆分前对存储数据内各数据文件进行标记,获取各标记数据文件的文件更新频率以及占存空间,对标记数据文件进行筛选,将筛选后的标记数据文件选择非结构存储法进行存储;
拆分判断模块接收到存储数据内所有数据文件的规范处理算法后进行计算获取存储数据的最大处理占比过程如下:拆分判断模块对存储数据内所有数据文件进行排序,从存储数据内第一个数据文件的规范处理算法开始,记录其类别并赋值为1,赋值完毕后根据排序顺序对后续数据文件进行一一遍历,当后续数据文件的规范处理算法与赋值过的数据文件的规范处理算法相同,则将对应类别上的赋值加1,当后续数据文件的规范处理算法与赋值过的数据文件的规范处理算法不同,则记录其类别并赋值为1,直至遍历完存储数据内所有数据文件;
在存储数据内筛选出最大赋值的类别记录为最大类别,将最大类别的赋值与存储数据内所有数据文件的类别赋值总和的比值作为存储数据的最大处理占比。
2.根据权利要求1所述的一种基于服务器的数据管理系统,其特征在于:数据采集模块获取存储数据内各数据文件的文件名关键字前后缀,将前后缀的种类进行统计,获取各种类文件名关键字前缀数量以及各种类文件名关键字后缀数量合并为前后缀数据集,利用前后缀数据集中选出最大数值与存储数据内所有数据文件的总数计算比值,将计算结果作为前后缀重复百分比;
将存储数据内不同数据文件的传输时间间隔取平均值作为传输时间均值,数据采集模块将存储数据的前后缀重复百分比以及传输时间均值传入结构分类模块。
3.根据权利要求2所述的一种基于服务器的数据管理系统,其特征在于:结构分类模块接收到存储数据的前后缀重复百分比以及传输时间均值后利用几何平均法对存储数据分类为高结构数据或低结构数据,具体步骤如下:数据预处理:将存储数据的传输时间均值利用对数变化进行归一化,通过对数变化公式:y=ln x,其中,x为存储数据的传输时间均值,y为存储数据的传输时间均值归一化后的结果;
几何平均法分析:将存储数据的前后缀重复百分比与传输时间均值归一化后的结果构建几何平均公式: ,其中,y为存储数据的传输时间均值归一化后的结果,z为存储数据的前后缀重复百分比,L为几何平均公式计算结果,将其作为数据分类系数;
数据分类:当数据分类系数超过预设的分类阈值,则将存储数据归类为高结构数据,选择结构存储法进行存储;当数据分类系数低于分类阈值,则将存储数据归类为低结构数据,将其传入数据采集模块。
4.根据权利要求3所述的一种基于服务器的数据管理系统,其特征在于:数据采集模块接收到结构分类模块传入的分类结果后访问日志记录对存储数据内所有数据文件的规范处理算法以及数据间的联合调用频次进行检测;
数据采集模块选择一段时间作为分析时间,在分析时间内对存储数据内的各数据文件进行分析,统计存储数据内的各数据文件联合调用次数与调用总次数的比例作为对应数据文件的调用频次,在所有数据文件的调用频次中选出中位数作为存储数据的联合调用频次;
联合调用为在预设的时间间隔内,对存储数据内的当前数据文件进行调用的基础上调用了其他数据文件。
5.根据权利要求1所述的一种基于服务器的数据管理系统,其特征在于:拆分判断模块综合存储数据的最大处理占比以及联合调用频次利用多项式回归法对存储数据进行分析,判断是否将存储数据导入拆分存储机制,具体过程如下:将存储数据的最大处理占比以及联合调用频次构建多项式回归公式计算回归结果:,其中,a为存储数据的最大处理占比,b为存储数据的联合调用频
次,c为调和参数, 和 分别为a和b的参数权重,D为回归结果;
将存储数据的最大处理占比以及联合调用频次计算得到的回归结果与预设的判断阈值进行比较,当回归结果超过判断阈值,设置判断结果为0;否则,设置数据结果为1。
6.根据权利要求5所述的一种基于服务器的数据管理系统,其特征在于:存储切换模块根据拆分判断模块传入的判断结果进行处理如下:
当判断结果为0时,不进行数据拆分,将存储数据利用结构存储法进行存储;
当判断结构为1时,进行数据拆分,对存储数据内各数据文件进行不同标记;
存储切换模块选择一段时间作为更新时间,在更新时间内记录各标记数据文件的文件更新次数,将标记数据文件的文件更新次数作为对应标记数据文件的文件更新频率,在更新时间内对标记数据文件每次进行更新后的占存空间进行记录并计算平均值作为对应标记数据文件的占存空间。
7.根据权利要求6所述的一种基于服务器的数据管理系统,其特征在于:存储切换模块综合存储数据内各标记数据文件的文件更新频率以及占存空间利用层次分析法设定各标记数据文件的存储权重,根据存储权重对标记数据文件进行筛选,具体步骤如下:数据初步处理:将各标记数据文件的占存空间进行标准化处理;
计算权重参考量:将各标记数据文件的文件更新频率以及标准化处理后的占存空间进行求和,将求和结果作为权重参考量;
选择点量表:选择1到4的点量表,其中1表示相同重要性差异,2表示轻微重要性差异,3表示中度重要性差异,4表示重度重要性差异;
构建特征矩阵:根据各标记数据文件的权重参考量设置点量构建特征矩阵;
简化特征矩阵:对特征矩阵的每一列进行归一化处理,使每列之和为1;
计算特征向量:计算每个标记数据文件的特征向量作为存储权重。
8.根据权利要求7所述的一种基于服务器的数据管理系统,其特征在于:存储切换模块将存储数据内所有标记数据文件的存储权重平均值作为拆分阈值;将存储数据内存储权重超过拆分阈值的标记数据文件筛选出来选择非结构存储法进行存储。