欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2019111259370
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:包括如下步骤:S1,利用K个传感器采集得到矿井的K个电磁辐射强度数据集;

S2,将用于采集数据的传感器作为联邦学习框架中的客户端,调度室内用于处理数据的设备作为联邦学习框架中的中央服务器;采用异构模型联邦学习框架,在该框架内的中央服务器设置若干个异构的中央模型,各客户端根据存储在本地的数据集规模或任务需求从中央服务器内选取中央模型作为客户端本地模型;

S3,客户端根据采集到的电磁辐射强度数据集对本地模型进行训练,同时采用SVD算法对客户端内本地模型参数矩阵进行降维,并结合FedAVG算法得到更新后的客户端本地模型;

S4,利用更新后的客户端本地模型提取客户端内本地数据集的特征表示,即提取电磁辐射强度数据特征;

S5,分别将所提取的特征表示作为训练样本,特征表示所对应的真实数据值作为训练标签,训练ESN网络;利用训练完成的ESN网络预测电磁辐射强度数据值;

S6,计算电磁辐射信号强度预测值的均值指标以及预测值间对数变化标准差,作为电磁辐射时序数据趋势跟踪指标。

2.根据权利要求1所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:客户端的本地模型根据所需完成的任务选定为机器模型或深度学习模型;在中央服务器设置长短期记忆网络和门控循环网络以供具备不同规模数据集的客户端选择。

3.根据权利要求1所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:所述步骤S3,客户端根据采集到的电磁辐射强度数据集对本地模型进行训练,同时采用SVD算法对客户端内本地模型参数矩阵进行降维,并结合FedAVG算法得到更新后的客户端本地模型;具体如下:S3.1,设置异构模型联邦学习框架中客户端与中央服务器通讯轮次总数C.R;

S3.2,客户端根据采集到的电磁辐射强度数据集对本地模型进行第t轮次训练;

S3.3,利用SVD算法对本地模型参数矩阵进行分解,得到奇异值矩阵以及左/右奇异矩阵;

S3.4,将奇异值矩阵上传至中央服务器进行聚合,得到聚合的中央模型参数,对应的左/右奇异矩阵保留在客户端内;

S3.5,客户端从中央服务器下载对应的聚合中央模型参数,并利用存储在客户端内的左/右奇异矩阵进行逆分解得到新的参数矩阵,作为客户端本地模型的参数,该参数作为t+

1轮次本地模型训练的初始参数,t=t+1;

S3.6,重复执行步骤S3.2-S3.5,直至达到设置的通讯轮次总数,得到更新后的客户端本地模型。

4.根据权利要求3所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:所述步骤S3.2,客户端根据采集到的电磁辐射强度数据集对本地模型进行训练;具体如下:将第k个客户端内本地数据集表示为:

Pk={ptime,k,time∈T},T={t1,t2,…,tM};

其中ptime,k表示time时刻采集到的电磁辐射信号强度,T是含有M个时间点的离散时间指标集;

采用电磁辐射强度数据集中前w个数据预测第w+1个数据的方式进行客户端本地模型的训练,方法如下:从电磁辐射强度数据集中第i个数据开始,i=1,2,...,M-w,分别顺序选择w个离散时间的数据构建客户端本地模型训练的输入数据集,表示为:X1,k={p1,k,p2,k,…pw,k},…,XM-w,k={pM-w,k,pM-w+2,k,…pM-1,k};

其中XM-w,k表示客户端本地模型训练的第M-w个输入数据;

同时将相应的数据真实值Y1,k={pw+1,k},…,YM-w,k={pM,k}作为本地模型训练的输入;

则客户端本地模型训练的输入为fin,k={(X1,k,Y1,k),(X2,k,Y2,k),…,(XM-w,k,YM-w,k)},客户端本地模型训练的预测输出为设置学习率lr以及训练迭代次数,选用均方根误差作为训练误差,采用Adam方法进行本地模型训练,得到训练后的客户端本地模型。

5.根据权利要求3所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:所述步骤S3.4,将奇异值矩阵作为参数上传至中央服务器后,选用相同中央模型结构的客户端所上传的参数相互聚合以更新对应的中央模型参数;

中央服务器内参数聚合采用如下公式:

其中t表示当前通讯轮次,K1表示参与通讯的选用相同中央模型结构的客户端数目,nk表示第k个客户端的本地数据量,n表示K1个客户端本地数据量总和, 表示第k个客户端在第t轮次所上传的参数,ωt表示第t轮次得到的聚合中央模型参数。

6.根据权利要求3所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:将神经网络特征提取层的参数矩阵完整上传至中央服务器进行聚合,对神经网络的全连接层参数进行SVD分解降维,得到奇异值矩阵并上传至中央服务器。

7.根据权利要求3-6任一所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:所述步骤S3中,设置的基于SVD算法的异构联邦学习框架参数包括:客户端总数K,中央服务器与客户端总通讯轮次C.R,网络结构选择索引set_value,降维应用索引svd_index;

通过网络结构选择索引set_value确定客户端所选用的网络深度,若客户端数据量大于set_value,则该客户端内本地模型采用深度网络;

通过降维应用索引svd_index指定将本地模型的svd_index层参数矩阵进行SVD分解降维,其余层参数不进行分解操作。

8.根据权利要求7所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:所述步骤S3中,各个客户端本地模型分别选用LSTM和GRU网络,采用SVD对LSTM和GRU网络参数矩阵进行降维,并结合FedAVG算法得到更新后的客户端本地模型,过程如下:LSTM网络结构设置为:一层LSTM层,节点个数cell_size=a,时间步长time_step=b,随后接一个e节点的全连接层以及节点个数为f的输出层;

GRU网络结构设置为:一层GRU层,节点个数cell_size=a,时间步长time_step=b,随后接一个e节点的全连接层以及节点个数为f的输出层;

设联邦学习通讯过程第t轮次中第k个客户端选取LSTM或GRU网络作为本地模型,选取网络中全连接层参数进行SVD分解降维;

全连接层权重矩阵采用SVD分解获得对应的奇异值矩阵并转置得到∑'k,t,其他各层网络参数矩阵不进行处理,将∑'k,t与其他层参数共同上传至中央服务器,SVD分解获得的左/右奇异矩阵 保留在客户端内;

参数上传至中央服务器后,将选用相同网路结构的客户端所上传的参数相互聚合得到聚合奇异值矩阵∑'global,t,各客户端分别下载对应的聚合奇异值矩阵;

在客户端内,根据存储在客户端的原始左/右奇异矩阵 以及下载的聚合奇异值矩阵∑'global,t进行SVD逆分解,得到更新后的参数矩阵作为客户端本地模型的参数。

9.根据权利要求1所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:所述步骤S5,分别将所提取的特征表示作为训练样本,特征表示所对应的真实数据值作为训练标签,训练ESN网络;利用训练完成的ESN网络预测电磁辐射强度数据值;具体如下:将提取到的第k个客户端本地数据集的特征表示记为feak,feak与本地数据真实值Pk形成新的数据集;将特征表示作为训练集,本地数据作为真实标签;基于新数据集采用岭回归方法训练ESN网络;利用训练完成的ESN网络预测电磁辐射强度数据值;

所采用的预测精度评价指标分别为:平方根相对误差、均方根误差、相对误差以及最大误差,各指标计算公式如下:*

Max_error=MAXj=1,2...,n(Yj-Yj)  (5)其中,RRSE,RMSE,MAPE,Max_error分别为平方根相对误差、均方根误差、相对误差、最大误差,Yj为电磁辐射信号强度的实际值, 为电磁辐射信号强度的实际值均值,Yj*为网络的预测值,j为采样时间点,n为预测值个数。

10.根据权利要求1或2或3或9所述的一种基于SVD算法的异构模型联邦学习矿井电磁辐射趋势跟踪方法,其特征在于:所述步骤S6,计算电磁辐射信号强度预测值的均值指标以及预测值间对数变化标准差,作为电磁辐射时序数据趋势跟踪指标;具体如下:将第k个传感器的电磁辐射信号强度预测值表示为:

P′k={p′time,k,time∈T},T={t′1,t′2,…,t′M};

其中p′time,k表示time时刻的电磁辐射信号强度预测值,T是含有M个时间点的离散时间指标集;

按时间窗口划分电磁辐射信号强度预测值数据集,在时间窗口内选取预测值的均值指标以及预测值间对数变化标准差表示数据趋势;

设时间窗口长度为l,则时间窗口的数目 表示向前取整运算;

计算时间窗口内的均值指标Ar,l,公式如下:

其中,r表示第r个时间窗口;N表示时间窗口的数目;

计算预测值p′time,k和p′time+l-1,k之间的对数差,公式如下:其中,htime,l表示对数差;

计算第r个时间窗口上的对数变化标准差σr,l,公式如下:

其中 表示第r个时间窗口内对数差htime,l的均值。