利索能及
我要发布
收藏
专利号: 202210956833X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于对比学习的联邦学习个性化方法,其特征在于,包括以下步骤:(1)本地训练出独立模型:

(1.1)本地客户端根据其持有的数据训练出独立模型,该独立模型仅包含单个客户端的数据信息,适应该客户端的任务;

(1.2)搭建对比学习网络,使用对比学习网络从独立模型中提取出表征;

(2)客户端参与联邦学习训练:(2.1)客户端开始正常的联邦学习训练,根据服务器发布的全局模型以及本地数据得到本地更新;

(2.2)训练完成后,每个客户端将本地更新的本地模型,上传给服务器;

(2.3)服务器聚合得到新的全局模型并进行全局广播,客户端接收到新的全局模型后从中提取出全局表征;

(3)客户端进行个性化修正训练:(3.1)在客户端接收到最新的全局模型之后,客户端开启个性化修正训练,在训练阶段分别得到三个表征:独立模型表征,全局模型表征以及正在被更新的本地模型表征;

(3.2)通过步骤(3.1)得到的三个表征,计算得到模型一致性损失,与训练损失一起更新本地模型;

(3.3)重复步骤(3.1)~(3.2),进行迭代修正训练,最终得到具有个性化的本地模型。

2.如权利要求1所述基于对比学习的联邦学习个性化方法,其特征在于,步骤(1.1)包括:共有N个客户端,表示为P1,...,PN,客户端Pi拥有本地数据集Di,对于本地单独的训练来说,独立模型的训练目标如下:

其中,为Pi的经验损失;表示客户端Pi的独立模型权重;x表示Di中的一个训练数据,y表示x对应的标签;li表示客户端Pi本地的损失函数;E表示期望。

3.如权利要求1所述基于对比学习的联邦学习个性化方法,其特征在于,步骤(1.2)包括:独立模型权值为用表示独立模型输出层之前的网络;将训练完成的独立模型权重放入对比学习网络中,便得到独立模型的表征

4.如权利要求1所述基于对比学习的联邦学习个性化方法,其特征在于,步骤(2.1)包括:对于本地客户端来说,联邦学习本地模型的训练目标如下:

其中,为Pi的第t轮的本地经验损失Li,t;wi表示客户端Pi的本地模型权重;x表示Di中的一个训练数据,y表示x对应的标签;li,t表示客户端Pi第t轮本地的损失函数;E表示期望。

5.如权利要求1所述基于对比学习的联邦学习个性化方法,其特征在于,步骤(2.3)包括:服务器接收到客户端的模型更新,采用FedAvg聚合算法形成新的全局模型;FedAvg计算客户端的局部模型更新的平均值作为全局模型更新,其中每个客户端根据其训练示例的数量进行加权;使用D=∪i∈[N]Di表示所有联邦训练的数据集,第t轮全局模型的训练目标表示为:

其中,Li,t表示Pi定义第t轮的经验损失;Lg,t表示第t轮的全局模型的损失;wg为全局模型的权重;||表示求模;

在聚合完成得到新的全局模型后,服务器将全局模型进行广播,发送至各个客户端;客户端根据最新的全局模型计算得到全局模型的表征

6.如权利要求1所述基于对比学习的联邦学习个性化方法,其特征在于,步骤(3.1)包括:个性化修正训练的损失由两部分组成,第一部分是由损失函数计算,第二部分为模型对比损失函数计算,模型对比损失函数定义为对于每一个输入x以及本地模型从独立模型中提取出表征从全局模型中提取出表征以及从正在训练的本地模型提取出的表征则模型对比损耗函数定义为:

7.如权利要求1所述基于对比学习的联邦学习个性化方法,其特征在于,步骤(3.1)中:服务器根据是否收到客户端的个性化申请,决定对应客户端是否进行个性化修正训练,当服务器接收到客户端的个性化申请后,判断该客户端需要进行个性化修正训练,之后客户端开启个性化修正训练;倘若未收到客户端的个性化申请则跳转到步骤(2.1)进行下一轮联邦学习训练。

8.如权利要求1所述基于对比学习的联邦学习个性化方法,其特征在于,步骤(3.2)包括:更新的本地模型的目标是:

其中,μ控制模型对比损失权重的个性化超参数,由客户端设定;wg表示全局模型的权重,wi表示本地模型的权重,表示独立模型的权重,x表示Di中的一个训练数据,y表示x对应的标签。