1.一种异构Spark集群的节点优先级调优方法,其特征在于,包括如下步骤:(1)分析影响节点性能的静态指标和动态指标,使用层次分析法建立节点优先级评价指标体系,并计算出各指标的初始权重;
(2)在集群中部署分布式集群资源监控系统Ganglia,实时采集节点的评价指标值;
(3)对采集得到的节点的评价指标值进行归一化处理,并将各指标归一化后的数据作为神经网络训练样本的输入;
(4)使用初始权重和归一化后的节点数据计算出节点对应的优先级,将此优先级作为神经网络训练样本的输出;
(5)建立三层BP神经网络模型;其中,建立的三层BP神经网络模型包括输入层、输出层以及隐含层,其中具体如下:(5.1)确定输入层节点的个数,其中输入节点个数与评价指标的个数相对应,输入层节点个数为8个;
(5.2)确定输出层节点的个数,输出层节点个数为1个;
(5.3)确定隐含层节点的个数;其中,确定隐含层节点的个数的方法为:采用如下公式确定隐含层的神经元个数:
其中α是[1,10]之间的整数,隐含层神经元数S取值范围为[5,9);n是输入层节点个数,为8个;m是输出层节点个数,为1个;
(6)基于训练样本进行BP神经网络训练,得到权重矩阵;具体如下:神经网络的输入是归一化后的各节点性能评价指标的数值,输出是使用各评价指标的初始权重计算得到的每个节点的优先级;BP神经网络训练完成后,对网络进行分析,获得权重矩阵;其中权重矩阵大小为5×9,其中矩阵的前8列分别对应输入层的8个神经元,最后一列对应输出层神经元;
矩阵的各行分别对应隐含层的5个神经元;矩阵中第i行第j列的元素表示第j个输入神经元与第i个隐含层神经元之间的权重;矩阵最后一列的元素分别表示输出神经元与各隐含层神经元之间的权重;其中,i=1,2,..,5;j=1,2,..,8;
(7)对权重矩阵进行分析处理,得到评价指标体系中各个指标的优化权重;具体如下:(7.1)采用下列公式计算相关显著性系数:
其中x=ωjk;
(7.2)采用下列公式计算相关指数:
‑y ‑y
Rij=|(1‑e )(1+e )|
其中y=rij;
(7.3)采用下列公式计算绝对影响系数:
其中i为神经网络输入层神经元,i=1,2,..,n;j为神经网络输出层神经元,j=1,
2,..,m;k表示神经网络隐含层神经元,k=1,2,..,p;ωjk表示输出层神经元j和隐含层神经元k之间的权值系数;计算得到的绝对影响系数Sij即为各节点优先级评价指标的优化权重。
2.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法,其特征在于:所述步骤(1)具体如下:(1.1)通过分析得到影响节点性能的静态指标,其中静态指标包括节点的CPU速度、CPU核数、内存大小和磁盘容量;
(1.2)通过分析得到影响节点性能的动态指标,其中动态指标包括节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载;
(1.3)基于步骤(1.1)和(1.2)的分析结果建立节点优先级评价指标体系,并对各指标的重要性进行评估;
(1.4)采用层次分析法得到各评价指标的权重。
3.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法,其特征在于:所述步骤(2)具体如下:(2.1)使用Ganglia集群资源监控系统获取各节点的静态指标值,具体包括CPU速度、CPU核数、内存大小和磁盘容量;
(2.2)使用Ganglia集群资源监控系统获取各节点的动态指标值,具体包括CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载。
4.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法,其特征在于:所述步骤(3)具体为:对于每一个评价指标,取其各次采集数值的最大值maxA和最小值minA,采用如下公式进行归一化处理:其中,x是通过Ganglia采集的原始指标值,xnormal是x归一化后的数值。