1.一种基于自适应半异步联邦学习的模型训练方法,采用基于自适应半异步联邦学习的模型训练系统;所述系统包括m个性能存在差异性的客户端和一个服务器;
其特征在于:所述方法,根据每一轮客户端实际完成情况,将客户端自适应地分为两个部分:快速客户端和慢速客户端;最先提交本地模型参数发送给服务器的k个客户端记为本轮的快速客户端,剩余m‑k个客户端记为本轮的慢速客户端;
服务器先聚合k个快速客户端的本地模型参数得到一个局部模型,并等待一预设时间τ后判断:若在预设时间τ内m‑k个慢速客户端的本地模型参数全部发送给服务器,则对所有客户端的本地模型参数进行一次全局模型的聚合,并把全局模型参数发送给所有客户端,进行下一轮迭代训练;
若在预设时间τ内m‑k个慢速客户端的本地模型参数未全部发送给服务器,则服务器首先把之前聚合得到的局部模型参数发送给k个快速客户端;然后待收齐m‑k个慢速客户端的本地模型参数后再聚合得到m‑k个慢速客户端的局部模型,并将此局部模型参数发送给m‑k个慢速客户端,进行下一轮迭代训练;
当全局模型收敛至预定的准确率或者模型训练轮数达到预设的阈值时,整个模型训练过程结束;
若全局模型参数更新频率大于预设值A,则缩小时间阈值τ;若全局模型参数更新频率小于预设值B,则增大时间阈值τ;
根据每一轮客户端实际完成情况,将客户端自适应地分为快速客户端和慢速客户端;
每轮迭代中服务器自适应地进行全局异步模型更新和全局同步模型更新;
其中,自适应体现在快速客户端和慢速客户端不是系统指定的,也不是固定不变的,而是根据客户端具体的执行效率和其网络环境动态决定的;不同的客户端计算并提交本地模型训练参数给服务器的快慢取决于客户端拥有的计算资源多少和所处网络环境的好坏;
自适应还体现在每轮服务器进行的是全局同步模型更新还是全局异步模型更新不是系统指定的,而是根据客户端的实际运行情况动态决定的;如果在某轮模型迭代训练中所有客户端本地模型参数的实际上传时间均在阈值区间内,那么系统将进行全局同步模型更新,否则进行全局异步模型更新。
2.一种基于自适应半异步联邦学习的模型训练设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1所述的基于自适应半异步联邦学习的模型训练方法。
3.一种存储介质,存储有程序;其特征在于,所述程序被处理器执行时,实现权利要求1所述的基于自适应半异步联邦学习的模型训练方法。