利索能及
我要发布
收藏
专利号: 2022110143152
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于隐私保护的个性化联邦学习方法,其特征在于,包括以下步骤:(1)初始化联邦学习训练环境;

(2)服务器在云端为每个客户端设置相对应的个性化模型,每个个性化模型将自身的全局模型矩阵参数下发给相对应的客户端,开始联邦学习训练;

(3)参与训练的客户端,进行第t轮的训练,得到训练好的本地模型矩阵参数并上传给相对应的个性化模型;根据本轮训练好的本地模型矩阵参数的变化量,计算每个客户端的阈值αi,t,并更新每个客户端的矩阵[(wcf‑matrix)i,t];根据每个客户端的矩阵[(wcf‑matrix)i,t],计算每个客户端的频率稀疏度εi,t,得到频率稀疏度集合{ε1,t,ε2,t,…,εi,t,…,εk,t};

所述步骤(3)具体包括以下子步骤:

(3.1)参与训练的客户端pi不进行数据共享,在本地对下发的全局模型权重进行本地模型训练:对于第t轮训练,得到训练好的本地模型矩阵参数 并上传给相对应的个性化模型Ni;

(3.2)计算第t轮本地模型训练后每个客户端pi的阈值αit,计算公式如下:其中,αi,t表示第t轮本地模型训练后每个客户端pi的阈值; 表示本地模型矩阵参数 中第u行、第v列的子参数; 表示初始化的全局模型矩阵参数 中第u行、第v列的子参数;

(3.3)若 则更新矩阵[(wcf‑matrix)i,t]中第u行、第v列的子参数:

若 则更新矩阵[(wcf‑matrix)i,t]中第u行、第v列的子参数:

其中,[(wcf‑matrix)i,t]u,v表示矩阵[(wcf‑matrix)i,t]中第u行、第v列的子参数;

重复上述步骤,更新整个矩阵[(wcf‑matrix)i,t];

(3.4)由每个客户端的矩阵[(wcf‑matrix)i,t],计算每个客户端的频率稀疏度εi,t,并得到频率稀疏度集合{ε1,t,ε2,t,…,εi,t,…,εk,t},频率稀疏度εi,t的计算公式如下:(4)根据频率稀疏度集合{ε1,t,ε2,t,…,εi,t,…,εk,t}进行K‑Means聚类操作,将频率稀疏度集合{ε1,t,ε2,t,…,εi,t,…,εk,t}中的频率稀疏度分为K簇;并将同一簇内的频率稀疏度εi,t所表示的客户端分为同一簇;

(5)对同一个簇的客户端上传的本地模型参数求平均,并将平均值作为新的全局模型矩阵参数下发给同一个簇的客户端;

(6)重复步骤(3)‑步骤(5),直至全局模型收敛,完成个性化联邦学习模型的训练。

2.根据权利要求1所述的一种基于隐私保护的个性化联邦学习方法,其特征在于,所述步骤(1)具体为:设定整体训练轮次E、本地数据D、参与联邦学习的整体客户端数k。

3.根据权利要求2所述的一种基于隐私保护的个性化联邦学习方法,其特征在于,所述步骤(2)具体包括以下子步骤:(2.1)服务器在云端为每个客户端pi设置好相对应的个性化模型Ni,并初始化每个个性化模型Ni得到初始化的全局模型矩阵参数 i=1,2,…i,…k;所述初始化的全局模型矩阵参数 的矩阵尺寸为W×H;

(2.2)每个个性化模型Ni将初始化的全局模型矩阵参数 下发给相对应的客户端pi,开始联邦学习训练。

4.根据权利要求1所述的一种基于隐私保护的个性化联邦学习方法,其特征在于,所述步骤(4)具体包括以下子步骤:(4.1)根据频率稀疏度集合{ε1,t,ε2,t,…,εi,t,…,εk,t}进行K‑Means聚类操作,设置簇的数量为K,所述K‑Means聚类操作具体如下:从频率稀疏度集合{ε1,t,ε2,t,…,εi,t,…,εk,t}中随机选择K个频率稀疏度作为初始质心;计算每个频率稀疏度εi,t到各个质心的距离,将频率稀疏度εi,t划分到距离最近的质心所对应的簇中;计算每个簇内所有频率稀疏度εi,t的均值,并使用该均值更新簇的质心重复步骤达到最大迭代次数,最终形成K个簇:S1、S2…SK;

(4.2)将在同一簇内的频率稀疏度εi,t所表示的客户端分为同一簇。

5.一种基于隐私保护的个性化联邦学习装置,其特征在于,包括一个或多个处理器,用于实现权利要求1‑4中任一项所述的基于隐私保护的个性化联邦学习方法。

6.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,用于实现权利要求1‑4中任一项所述的基于隐私保护的个性化联邦学习方法。