利索能及
我要发布
收藏
专利号: 2024102966833
申请人: 山东省计算中心(国家超级计算济南中心)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于快速学习与知识积累的元持续联邦学习系统,其特征在于,包括:

服务器端,其用于将待训练的全局模型下发至参与联邦学习的若干客户端;以及接收客户端训练后的模型参数,并将若干客户端的模型参数进行聚合形成更新后的全局模型并执行下一轮次的训练,直至满足迭代要求;

客户端,其用于接收来自服务器端的全局模型,基于本地数据集进行模型的训练,并将训练好的模型参数返回至服务器端,其中,所述模型训练包括基于联邦元学习的预训练以及基于联邦持续学习的持续训练,所述持续训练中利用预训练获得的模型参数进行模型初始化,以及,在持续训练过程中,若没有发生任务漂移,则将当前训练数据添加至本地缓冲区;若发生任务漂移,则以本地缓冲区内的数据作为持续训练过程的训练数据,并重置本地缓冲区。

2.如权利要求1所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,所述基于联邦元学习的预训练,包括第一训练任务,所述第一训练任务具体为:根据采样的训练数据构建第一训练任务,基于第一训练任务对应的训练数据集对待训练模型进行训练。

3.如权利要求2所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,在所述第一训练任务中,基于训练得到的模型参数计算当前训练任务的损失,以及当前损失对模型参数的梯度;基于所述梯度与模型参数的学习率对模型的初始参数进行更新,得到更新的模型参数。

4.如权利要求2所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,所述基于联邦元学习的预训练,还包括第二训练任务,所述第二训练任务具体为:根据重新采样的训练数据构建第二训练任务,以第一训练任务训练得到的模型参数作为当前任务的初始模型参数,并基于第二训练任务对应的训练数据集对待训练模型进行训练。

5.如权利要求4所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,在所述第二训练任务中,基于训练得到的模型参数计算当前训练任务的损失,以及当前损失对模型参数的梯度;基于所述梯度与模型参数的学习率对模型的初始参数进行更新,得到更新的模型参数;重复迭代第一训练任务和第二训练任务,直至满足迭代结束条件。

6.如权利要求1所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,所述基于联邦持续学习的持续训练,具体为:利用预训练获得的模型参数进行模型初始化,并基于持续训练对应的数据集对模型进行训练,得到对应的模型参数,并传输至服务器端。

7.如权利要求1所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,所述任务漂移是否发生的判断,具体根据持续学习阶段当前轮次计算得到的损失与前一次训练计算得到损失的比较结果进行判断,若两者差值小于预设阈值,则判断没有发生任务漂移;若不小于所述预设阈值,则判断为发生任务漂移。

8.如权利要求1所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,当没有发生任务漂移时,对模型参数进行微调后,将当前训练数据加入到客户端本地的缓冲区内;当发生任务漂移时,从本地缓冲区内取出数据作为训练数据进行持续训练,并使用训练数据来更新模型参数,以及重置本地缓冲区。

9.如权利要求1所述的基于快速学习与知识积累的元持续联邦学习系统,其特征在于,所述联邦持续学习方法具体采用Continual‑MAML方法。

10.基于快速学习与知识积累的元持续联邦学习方法,其特征在于,其基于如权利要求

1‑9任一项所述的基于快速学习与知识积累的元持续联邦学习系统,包括:

通过服务器端将待训练的全局模型下发至参与联邦学习的若干客户端;

客户端接收来自服务器端的全局模型,基于本地数据集进行模型的训练,并将训练好的模型参数返回至服务器端,其中,所述模型训练包括基于联邦元学习的预训练以及基于联邦持续学习的持续训练,所述持续训练中利用预训练获得的模型参数进行模型初始化,以及,在持续训练过程中,若没有发生任务漂移,则将当前训练数据添加至本地缓冲区;若发生任务漂移,则以本地缓冲区内的数据作为持续训练过程的训练数据,并重置本地缓冲区;

服务器端接收客户端训练后的模型参数,并将若干客户端的模型参数进行聚合形成更新后的全局模型并执行下一轮次的训练,直至满足迭代要求。