利索能及
我要发布
收藏
专利号: 2020113751305
申请人: 安徽工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于异步通信的分层联邦学习方法,其特征在于,所述基于异步通信的分层联邦学习方法应用于联邦学习系统,所述联邦学习系统包括中央服务器、连接于中央服务器的若干边缘服务器,以及分别与各边缘服务器成簇分布的若干客户端;

所述基于异步通信的分层联邦学习方法包括定义联邦学习系统的学习问题;具体为:假设联邦学习系统包括N个客户端,每个客户端存储有本地数据Di,则本地损失函数Fi(w)和全局损失函数F(w)分别为:

其中,i、j分别为联邦学习系统中的任一个客户端,w为全局模型的权重矩阵,D为所有客户端存储的本地数据集合;

所述基于异步通信的分层联邦学习方法应用于边缘服务器,包括:边缘服务器接收广播的全局模型参数并下发至其所属簇内所有客户端;所述全局模型参数由中央服务器初始化并广播,所述全局模型参数用于各客户端根据其拥有的本地数据进行训练;

边缘服务器接收其簇内所有客户端上传的经本地训练后更新的全局模型参数、记录各客户端信息上传时间,对接收的经本地训练后更新的全局模型参数进行平均,并统计边缘服务器接收其簇内客户端的更新次数;

边缘服务器根据其预设的客户端信息上传时间阈值区间,更新其所属簇内客户端;所属簇内客户端更新过程为:集聚客户端信息上传时间在边缘服务器预设的客户端信息上传时间阈值区间内的所有客户端构成对应于该边缘服务器的簇;

边缘服务器预设接收其簇内客户端的更新次数阈值,边缘服务器在更新次数阈值内任一次客户端更新后下发该次更新平均得到的全局模型参数至其所属簇中所有客户端;边缘服务器向中央服务器上传客户端第更新次数阈值次更新平均得到的全局模型参数,并向其所属簇中所有客户端下发中央服务器根据其接收的客户端第更新次数阈值次更新平均得到的全局模型参数加权平均后反馈的加权平均全局模型参数,以便客户端根据加权平均全局模型参数进行本地训练;

边缘服务器重复执行接收其所属簇内客户端更新上传的全局模型参数和接收中央服务器反馈的加权平均全局模型参数,直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。

2.根据权利要求1所述的基于异步通信的分层联邦学习方法,其特征在于,所述基于异步通信的分层联邦学习方法应用于中央服务器,包括:中央服务器广播经其初始化的全局模型参数至各边缘服务器,以使得各边缘服务器将该全局模型参数下发至各边缘服务器所属簇中的所有客户端;所述全局模型参数用于各客户端根据其拥有的本地数据进行训练,以便将经本地训练后更新的全局模型参数上传至所属簇的边缘服务器进行平均、记录各客户端信息的上传时间和统计各客户端的更新次数;

所述客户端信息的上传时间用于与边缘服务器预设的客户端信息上传时间阈值区间进行比对,以更新客户端至包含其上传时间在客户端信息上传时间阈值区间内的边缘服务器所在的簇;

中央服务器接收边缘服务器发送的第更新次数阈值次更新平均得到的全局模型参数,并向该边缘服务器反馈加权平均全局模型参数,以便该边缘服务器向其所属簇中所有客户端下发该加权平均全局模型参数,使得客户端根据该加权平均全局模型参数进行本地训练;所述更新次数阈值为边缘服务器预设的向中央服务器上传全局模型参数时其所属簇内客户端最大更新次数,并且在更新次数阈值内任一次客户端经本地训练更新后上传至边缘服务器平均得到的全局模型参数直接经该边缘服务器下发至其所属簇中所有客户端,直至客户端更新次数达到更新次数阈值;

中央服务器重复执行在客户端达到更新次数阈值时边缘服务器上传第更新次数阈值次更新平均得到的全局模型参数并向该边缘服务器反馈加权平均全局模型参数,直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。

3.根据权利要求1所述的基于异步通信的分层联邦学习方法,其特征在于,所述基于异步通信的分层联邦学习方法应用于客户端,包括:客户端接收全局模型参数,并根据其拥有的本地数据进行训练;所述全局模型参数由中央服务器初始化并广播至边缘服务器,经由边缘服务器下发至其所属簇内所有客户端;

客户端发送其经本地训练后更新的全局模型参数至其所属簇内边缘服务器,以便边缘服务器记录各客户端信息的上传时间、对各客户端更新的全局模型参数进行平均、以及统计其簇内客户端的更新次数;所述客户端信息的上传时间用于边缘服务器根据其预设的客户端信息上传时间阈值区间,更新其所属簇内客户端;所述客户端在边缘服务器的簇内更新过程为:客户端信息的上传时间与边缘服务器预设的客户端信息上传时间阈值区间进行比对,更新客户端至包含其上传时间在客户端信息上传时间阈值区间内的边缘服务器所在的簇;

客户端的更新次数用于与边缘服务器预设的接收其簇内客户端的更新次数阈值进行比较;当客户端更新次数在更新次数阈值内,客户端在其任一次更新后接收其所属簇的边缘服务器发来的该次更新平均得到的全局模型参数,再根据其拥有的本地数据进行训练;

当客户端更新次数达到更新次数阈值,客户端接收其所属簇的边缘服务器下发的、由该边缘服务器向中央服务器上传第更新次数阈值次更新平均得到的全局模型参数后反馈的加权平均全局模型参数,再根据其拥有的本地数据进行本地训练;

客户端重复执行根据其所属簇的边缘服务器下发的全局模型参数进行本地训练,并将训练后更新的全局模型参数再上传至其所属簇的边缘服务器,直至联邦学习系统中所有客户端内全局模型收敛或达到设定全局模型精度。

4.根据权利要求1所述的基于异步通信的分层联邦学习方法,其特征在于,所述全局模型参数的初始化模型为将全局损失函数中包含的全局模型的权重矩阵w初始化为0。

5.根据权利要求1所述的基于异步通信的分层联邦学习方法,其特征在于,所述中央服务器和边缘服务器网络连接。

6.根据权利要求1所述的基于异步通信的分层联邦学习方法,其特征在于,所述客户端根据其拥有的本地数据进行训练过程为在本地数据上进行一次或多次的梯度下降更新。

7.一种基于异步通信的分层联邦学习装置,其特征在于,所述基于异步通信的分层联邦学习装置应用于联邦学习系统,所述联邦学习系统包括中央服务器、连接于中央服务器的若干边缘服务器,以及分别与各边缘服务器成簇分布的若干客户端;

所述基于异步通信的分层联邦学习装置包括定义联邦学习系统的学习问题;具体为:假设联邦学习系统包括N个客户端,每个客户端存储有本地数据Di,则本地损失函数Fi(w)和全局损失函数F(w)分别为:

其中,i、j分别为联邦学习系统中的任一个客户端,w为全局模型的权重矩阵,D为所有客户端存储的本地数据集合;

所述基于异步通信的分层联邦学习装置应用于边缘服务器,包括如下模块:第一接收模块,用于边缘服务器接收广播的全局模型参数,所述全局模型参数由中央服务器初始化并广播;

第一下发模块,用于边缘服务器下发其接收的全局模型参数至其所属簇内所有客户端,所述全局模型参数用于各客户端根据其拥有的本地数据进行训练;

第二接收模块,用于边缘服务器接收其簇内所有客户端上传的经本地训练后更新的全局模型参数,对接收的经本地训练后更新的全局模型参数进行平均;

记录模块,用于记录边缘服务器所属簇内各客户端信息上传时间;

统计模块,用于统计边缘服务器所属簇内客户端的更新次数;

更新模块,用于根据边缘服务器预设的客户端信息上传时间阈值区间,更新边缘服务器所属簇内客户端;所属簇内客户端更新过程为:集聚客户端信息上传时间在边缘服务器预设的客户端信息上传时间阈值区间内的所有客户端构成对应于该边缘服务器的簇;

阈值设定模块,用于预设边缘服务器接收其簇内客户端的更新次数阈值;

第二下发模块,用于边缘服务器在更新次数阈值内任一次客户端更新后下发该次更新平均得到的全局模型参数至其所属簇中所有客户端;

上传模块,用于边缘服务器向中央服务器上传第更新次数阈值次更新平均得到的全局模型参数;

第三下发模块,用于边缘服务器向其所属簇中所有客户端下发中央服务器根据其接收的客户端第更新次数阈值次更新平均得到的全局模型参数加权平均后反馈的加权平均全局模型参数,以便客户端根据该加权平均全局模型参数进行本地训练;

判断模块,用于判断联邦学习系统中所有客户端内全局模型是否全部收敛或达到设定全局模型精度;

重复执行模块,用于当联邦学习系统中所有客户端内全局模型存在未收敛或未达到设定全局模型精度时,使边缘服务器重复执行接收其所属簇内客户端更新上传的全局模型参数和接收中央服务器反馈的加权平均全局模型参数过程。

8.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习系统的控制程序,所述联邦学习系统的控制程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于异步通信的分层联邦学习方法。

9.一种存储介质,其特征在于,应用于计算机,所述存储介质上存储有联邦学习系统的控制程序,所述联邦学习系统的控制程序被处理器执行时实现如权利要求1至6中任一项所述的基于异步通信的分层联邦学习方法。