1.基于深度学习的大数据系统配置参数监测调优系统,包括监测优化分析平台,其特征在于,监测优化分析平台的内部设置有服务器,服务器通讯连接有数据采集单元、监测分析单元、等级定量单元、优化调控单元、调优评估单元和显示终端;
监测优化分析平台用于对大数据系统的配置参数信息进行监测与优化分析,通过数据采集单元实时获取大数据系统的配置特征参数信息,并将其发送至监测分析单元,监测分析单元用于接收大数据系统的配置特征参数信息,并据此进行状态监测分析处理,据此生成正向匹配信号、逆向匹配信号和不匹配信号,并将其均发送至等级定量单元,等级定量单元对接收的各类型匹配信号进行优化定档分析处理,据此生成各类型扩充档位指令,并将其均发送至优化调控单元;
优化调控单元用于接收各类型扩充档位指令,并据此对大数据系统的配置进行配置优化分析处理,据此生成优化完成信号,并将其发送至调优评估单元,调优评估单元用于接收优化完成信号,并据此调取优化后单位时间级的大数据系统的配置特征参数信息,并据此进行优化迭代训练分析处理,据此生成有效优化信号和无效优化信号,并将其以文本字样描述的方式发送至显示终端进行显示;
状态监测分析处理的具体操作步骤如下:
S1:实时获取单位时间级大数据系统的配置特征参数信息中的进程量值chei和内存量值neci,其中,i为大于等于1的正整数,将进程量值和内存量值进行归一化处理,求得各时间点的运行性能系数yuxi;
S2:依据步骤S1,随机捕捉单位时间级中任意一段时间的运行性能系数yuxi,并以时间为横坐标,以运行性能系数为纵坐标,并据此建立性能动态坐标系,通过描点绘制的方式将一段时间的运行性能系数yuxi勾勒在性能动态坐标系上,并据此执行一类模型分析处理,并生成运行性能优等信号和运行性能次等信号;
S3:实时捕捉与步骤S2相同时间段的大数据系统的配置特征参数信息中的读写量值duxi,以时间为横坐标,以读写量值为纵坐标,并据此建立读写动态坐标系,通过描点绘制的方式将一段时间的读写量值duxi勾勒在读写动态坐标系上,并据此执行二类模型分析处理,并生成读写性能优等信号和读写性能次等信号;
S4:依据步骤S2-S3,基于相同时间段的两个动态坐标系上分布的等级标定信号,据此进行定性整合分析处理,并生成正向匹配信号、逆向匹配信号和不匹配信号;
一类模型分析处理的具体操作步骤如下:
随机捕捉性能动态坐标上的任意连续10个运行性能系数yuxi,并将其进行均值分析,求得均值运行性能系数Jyux,将均值运行性能系数Jyux转化为性能对比参照线,即Y=Jyux,并将性能对比参照线Y=Jyux绘制在性能动态坐标系上;
当运行性能系数yuxi处于性能对比参照线Y=Jyux上及以上时,则生成运行性能优等信号,当运行性能系数yuxi处于性能对比参照线Y=Jyux以下时,则生成运行性能次等信号;
二类模型分析处理的具体操作步骤如下:
设置读写阈值系数Yu1,并将读写阈值系数Yu1转化为读写对比参照线,即Y=Yu1,并将读写对比参照线Y=Yu1绘制在读写动态坐标系上;
当读写量值duxi处于读写对比参照线Yu1上及以上时,则生成读写性能优等信号,当读写量值duxi处于读写对比参照线Yu1以下时,则生成读写性能次等信号;
定性整合分析处理的具体操作步骤如下:
获取同一单位时间级的性能动态坐标系与读写动态坐标系上分布的等级标定信号,若同时捕捉到的信号均为优等类型信号时,则生成正向匹配信号,若同时捕捉到的信号均为次等类型信号,则生成逆向匹配信号,若同时捕捉到的信号为两种不同等级标定的信号,则生成不匹配信号;
优化定档分析处理的具体操作步骤如下:
Q1:当接收到正向匹配信号、逆向匹配信号和不匹配信号时,并据此统计单位时间级内各类型匹配信号的数量和,并将其分别标定为SL1、SL2和SL3,若满足SL1<SL2+SL3时,则生成高级优化指令,若满足SL1=SL2+SL3时,则生成中级优化指令,若满足SL1>SL2+SL3时,则生成低级优化指令;
Q2:分别统计性能动态坐标系与读写动态坐标系上分布的次等等级标定信号与优等等级标定信号的数量和,并依据各类型次等信号数量和占各类型等级总和的百分比,分别求得第一占比值Zbx1、第二占比值Zbx2;
Q3:依据低级优化指令,若满足Zbx1>Zbx2,则生成优化读写N档指令,若满足Zbx1≤Zbx2,则生成优化处理器N档指令、优化内存N档指令,依据中级优化指令,若满足Zbx1>Zbx2,则生成优化读写N+1档指令,若满足Zbx1≤Zbx2,则生成优化处理器N+1档指令、优化内存N+1档指令,依据高级优化指令,若满足Zbx1>Zbx2,则生成优化读写N+2档等级信号,若满足Zbx1≤Zbx2,则生成处理器优化N+2档指令、内存优化N+2档指令;
配置优化分析处理的具体操作步骤如下:
当接收到优化读写N档指令、优化处理器N档指令、优化内存N档指令时,则据此将大数据系统配置中IO设备、CPU和内存扩充N档,并在完成扩充后生成优化完成信号;
当接收到优化读写N+1档指令、优化处理器N+1档指令、优化内存N+1档指令时,则据此将大数据系统配置中IO设备、CPU和内存扩充N+1档,并在完成扩充后生成优化完成信号;
当接收到优化读写N+2档指令、优化处理器N+2档指令、优化内存N+2档指令时,则据此将大数据系统配置中IO设备、CPU和内存扩充N+2档,并在完成扩充后生成优化完成信号;
优化迭代训练分析处理的具体操作步骤如下:
当接收到优化完成信号时,获取单位时间级的大数据系统的配置特征参数信息中的进程量值chei、内存量值neci和读写量值duxi,并将其进行归一化分析,求得第一测试系数beti;
获取优化后单位时间级的大数据系统的配置特征参数信息中的进程量值chej、内存量值necj和读写量值duxj,其中,j为大于等于1的正整数,并将其进行归一化分析;
* *
将第一测试系数beti与第二测试系数betj进行数值大小比较,若满足beti≥betj时,则生成无效优化信号,并以“当前大数据系统配置未达到最佳优化的效果,需要再一次进行*优化分析”的文本字样发送至显示终端,若满足beti<bet j时,则生成有效优化信号,并以“当前大数据系统配置参数已达到最佳优化的效果”的文本字样发送至显示终端。