利索能及
我要发布
收藏
专利号: 202210975053X
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于响应时间实时均衡的联邦学习高效通信方法,其特征在于:该方法包括以下步骤:S1:初始化,定义 为设备集合,N为设备个数, 和 分别为所有设备所采集的本地隐私数据和计算能力集合, 和 分别为簇以及簇的Head节点集合,M为簇个数,云服务器初始化全局模型ω0,全局模型训练轮数T,簇内模型训练轮数H;

S2:动态分层通信架构构建,根据给定的设备计算能力 以及设备的数据集合动态的将终端设备划分至给定的计算簇中,使得每个计算簇在当前迭代轮次h∈H的簇模型训练时间均衡,并构建基于“云服务器‑Head节点‑终端设备”的动态分层通信架构;

S3:簇内加权协作训练,每个簇 的Head的节点 分别进行簇内加权协作训练,得到每个簇在当前迭代轮次h∈H的簇内模型更新S4:簇间模型聚集,每个计算簇 的Head节点分别将获得的簇模型更新 上传至云服务器,云服务器对上传的簇模型更新 进行聚集操作,得到下一轮迭代的全局模型ωt+1;

S5:全局模型分发,云服务器将更新的全局模型ωt+1下发给所有计算设备,模型训练进入下一轮迭代。

2.根据权利要求1所述的一种基于响应时间实时均衡的联邦学习高效通信方法,其特征在于:所述S2具体包括以下步骤:S2‑1:所有终端设备 从云服务器获取迭代轮次t∈T的全局模型ωt(t=0,1,

2,...,T);

S2‑2:所有终端设备 根据各自的本地隐私数据 以及全局模型ωt并行地进行本地模型训练,对于设备 有如下计算公式:其中,e∈E为终端设备的本地模型训练轮次, 和 为终端设备 在本地迭代轮次e和e‑1的本地模型更新,b∈B为训练块大小,η和 分别为学习率和梯度函数;

S2‑3:记簇内迭代训练轮次h∈H,得到经过E轮本地模型训练的终端设备集合为S且S中每个设备 的本地模型更新为 则分别预测评估将设备 划分至每个簇的簇模型训练时间 对于设备 有如下计算公式:

S2‑4:将设备 分配至使得簇间训练时间差异 最小的簇中,对于簇 有如下计算公式:S2‑5:更新每个簇 的簇模型训练时间

重复S2‑3至S2‑5,直至集合S中所有设备划分完成为止,得到当前迭代轮数h∈H的一次簇划分结果;

S2‑6,在每个簇 中,选择一个计算能力最强的设备作为簇的Head节点,并构建基于“云服务器‑Head节点‑终端设备”一体的逻辑分层架构。

3.根据权利要求2所述的一种基于响应时间实时均衡的联邦学习高效通信方法,其特征在于:所述S3具体包括以下步骤:S3‑1:分别统计每个设备 直至迭代轮次h∈H,训练得到本地模型更新的总频次S3‑2:分别计算每个设备 在当前迭代轮次h∈H的簇内模型聚集权重 其计算公式如下:S3‑3:计算每个簇 在当前迭代轮次h∈H的簇内模型更新,对于簇 其计算公式如下:其中, 表示簇 在簇内迭代轮次(h‑1)的簇模型更新;

不断重复S2~S3,直至每个簇 迭代训练H轮为止,得到经过H轮迭代训练的簇模型更新

4.根据权利要求3所述的一种基于响应时间实时均衡的联邦学习高效通信方法,其特征在于:所述S4具体包括以下步骤:S4‑1,每个计算簇 的Head节点将训练得到的簇模型更新 传输至云服务器;

S4‑2,云服务器对所有上传的簇模型更新 进行聚集操作,并得到下一轮迭代的全局模型ωt+1,其计算公式如下:其中,ωt为第t轮迭代的全局模型。

5.根据权利要求4所述的一种基于响应时间实时均衡的联邦学习高效通信方法,其特征在于:所述S5具体包括以下步骤:S5‑1,清空簇集合 簇的Head节点集合 每个簇 的簇模型训练时间 以及经过H轮迭代训练的簇模型更新 每个设备 直至迭代轮次h∈H,训练得到本地模型更新的总频次 簇内模型聚集权重S5‑2,云服务器将更新的全局模型ωt+1下发给所有计算设备,模型训练进入下一轮迭代;

不断重复S2~S5,直至T轮全局模型训练迭代为止,全局模型训练结束,得到收敛后的全局模型ωT。

6.一种基于响应时间实时均衡的联邦学习高效通信系统,其特征在于:该系统包括以下模块:初始化模块,用于初始化簇集合 簇Head节点集合 全局模型ω0,全局模型训练轮数T,簇内模型训练轮数H,每个簇 的簇模型训练时间 每个设备 在迭代轮次h∈H的累计通信频率 以及簇内模型聚集权重动态分层通信架构构建模块,用于将资源异构的计算设备集合 根据其设备每轮迭代训练的本地模型训练时间,进行动态分组,并构建基于“云服务器‑Head节点‑终端设备”的动态分层通信架构,包含以下子模块:全局模型获取子模块,用于所有终端设备 从云服务器获取的当前迭代轮次t∈T的全局模型ωt(t=0,1,2,...,T);

并行训练子模块,用于所有终端设备 并行地根据其本地隐私数据以及全局模型ωt进行本地模型训练;

本地模型存储子模块,用于存储簇内迭代训练轮次h∈H,经过E轮本地模型训练的终端设备集合为S以及S中每个设备 的本地模型更新簇模型训练时间评估子模块,用于评估集合S中每个设备 划分至每个簇 的簇模型训练时间簇间训练时间评估子模块,用于评估将设备 分配至每个簇 所得到的簇间训练时间差异设备划分子模块,用于将设备 分配至簇间训练时间差异Φj最小的簇中;

中间变量更新子模块,用于更新每个簇 在当前迭代轮次h∈H的簇模型训练时间循环子模块,用于循环执行设备划分子模块,直至集合S中的所有设备划分完成为止;

Head节点选取子模块,用于从每个簇 中,选取一个当前计算能力最强的设备作为簇的Head节点,构建基于“云服务器‑Head节点‑终端设备”一体的逻辑分层架构;

簇内加权协作训练模块,用于每个簇 的Head节点 分别进行簇内加权协作训练,得到每个簇在当前迭代轮次h∈H的簇模型更新 包含以下子模块:设备通信频率计算子模块,用于统计每个计算设备 在迭代轮次h∈H的累计通信频次簇内模型更新权重计算子模块,用于计算每个计算设备 在当前迭代轮次h∈H的簇内模型聚集权重簇内模型更新子模块,用于计算每个簇 在当前迭代轮次h∈H的簇内模型更新簇内模型参数分发子模块,用于将计算得到的簇模型更新 分发给已经空闲的终端设备;

迭代训练模块,用于不断重复动态分层通信架构构建模块以及簇内加权协作训练模块,直至每个簇 迭代训练H轮为止,得到经过H轮迭代训练的簇模型更新簇间模型聚集模块,用于每个簇 的Head节点 分别将获得的簇模型更新上传至云服务器,云服务器对上传的簇模型 进行聚集操作,得到下一轮迭代的全局模型ωt+1,包括以下子模块:簇内模型更新传输子模块,用于每个计算簇 的Head节点 将训练得到的簇模型更新 传输至云服务器;

全局模型聚集子模块,用于云服务器对所有上传的簇模型更新 进行聚集操作,并得到下一轮迭代的全局模型ωt+1;

全局模型分发模块,用于云服务器将更新的全局模型ωt+1下发给所有计算设备,模型训练进入下一轮迭代,包括以下子模块:参数重置模块,用于清空上一轮全局模型迭代划分得到的簇集合 簇的Head节点集合 重置簇模型训练时间 以及簇模型更新 每个设备的累计通信总频次 以及簇内模型聚集权重

全局模型下发子模块,云服务器下发全局模型ωt+1给所有的终端设备;

全局模型迭代训练子模块,用于不断重复动态分层通信架构构建模块、簇内加权协作训练模块、簇间模型聚集模块以及全局模型分发模块,直至得到收敛的全局模型ωT,全局模型训练结束。