利索能及
我要发布
收藏
专利号: 2021105922975
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种联合学习模型训练方法,其特征在于,包括以下步骤:(1)多个客户端分别进行局部分类模型的训练,并将第一层权重发送至服务器;

(2)服务器根据各局部分类模型的该层权重,得到联邦模型相应层的权重,并返回至所述多个客户端;

(3)各个客户端基于联邦模型的该层权重,对相应局部分类模型进行训练,并将下一层权重发送至服务器;重复步骤(2)‑(3),直至客户端得到最后一层权重发送至服务器;

(4)服务器根据各局部分类模型的最后一层权重,得到联邦模型的最后一层权重,发送至所述多个客户端。

2.如权利要求1所述的一种联合学习模型训练方法,其特征在于,所述步骤(2)中,服务器对各局部分类模型的该层权重,依次进行置换匹配和加权平均,得到联邦模型相应层的权重;

其中,所述置换匹配包括:以同层的任意一个权重矩阵为标准,通过交换某行或某列,使得同层的这些权重矩阵具有相似的数据分布。

3.如权利要求1所述的一种联合学习模型训练方法,其特征在于,所述步骤(4)中,以各个客户端本地的数据中各类型文本所占比例与该客户端最后一层的权重乘积之和为权重,对各个客户端相应的最后一层权重进行加权,得到联邦模型的最后一层权重。

4.一种联合学习模型训练方法,应用于客户端,其特征在于,包括:(1)基于本地训练数据训练局部分类模型,并将第一层权重发送至服务器;

(2)接收服务器反馈的联邦模型的该层权重,其中,该层权重是根据来自多个客户端的局部分类模型的相应层权重得到的;

(3)基于联邦模型的该层权重,对相应局部分类模型进行训练,并将下一层权重发送至服务器;

重复步骤(2)‑(3),直至接收到服务器发送的联邦模型的最后一层权重。

5.一种联合学习模型训练方法,应用于服务器,其特征在于,包括:接收多个客户端训练局部分类模型得到的各层权重;

根据来自多个客户端的每一层权重,得到联邦模型的该层权重,并发送至客户端,用于客户端继续训练局部分类模型。

6.一种基于同态加密的去中心联合学习模型训练方法,其特征在于,服务器预先存储公钥和私钥,并将公钥发送至多个客户端,所述方法包括以下步骤:(1)多个客户端分别进行局部分类模型的训练,将第一层权重采用公钥进行加密,以其中任意一个为中转客户端,其他客户端均将加密后的第一层权重发送至所述中转客户端,继而经由所述中转客户端发送至服务器;

(2)所述服务器根据所有加密后的该层权重,得到加密的联邦模型相应层的权重,解密后返回至所述多个客户端;

(3)各个客户端基于联邦模型的该层权重,对相应局部分类模型进行训练,将下一层权重采用公钥加密并发送至中转客户端;重复步骤(2)‑(3),直至各个客户端得到最后一层权重并加密,经由中转客户端发送至服务器;

(4)服务器根据多个加密的最后一层权重,得到加密的联邦模型最后一层的权重,解密后返回至所述多个客户端。

7.如权利要求6所述的一种基于同态加密的去中心联合学习模型训练方法,其特征在于,所述步骤(2)中,各个服务器对所有加密后的该层权重,依次进行置换匹配和加权平均,得到加密的联邦模型相应层的权重。

其中,所述置换匹配包括:以同层的任意一个权重矩阵为标准,通过交换某行或某列,使得同层的这些权重矩阵具有相似的数据分布。

8.一种基于同态加密的去中心联合学习模型训练方法,应用于客户端,其特征在于,包括以下步骤:

接收服务器发送的公钥,基于本地训练数据训练局部分类模型,将第一层权重采用公钥进行加密,以其中任意一个为中转客户端,其他客户端均将加密后的第一层权重发送至所述中转客户端,继而经由所述中转客户端发送至服务器;

接收服务器发送的联邦模型的该层权重,对相应局部分类模型进行训练,将下一层权重采用公钥进行加密,并经由中转客户端发送至服务器;所述联邦模型的该层权重是服务器根据所述多个该层权重进行计算并采用私钥解密得到的。

9.一种基于同态加密的去中心联合学习模型训练方法,应用于服务器,其特征在于,包括以下步骤:

(1)接收中转客户端发送的多个加密的第一层权重;

(2)根据多个加密的该层权重计算并解密得到联邦模型的该层权重,发送至各个客户端,用于客户端继续训练局部分类模型;重复步骤(1)‑(2),直至接收到多个加密的最后一层权重;

(3)根据多个加密的最后一层权重计算并解密得到联邦模型的最后一层权重,发送至各个客户端。

10.一种联合学习模型训练系统,其特征在于,包括如权利要求4所述客户端和如权利要求5所述服务器;或,包括如权利要求8所述客户端和如权利要求9所述服务器。