1.一种基于本地差分隐私噪声控制的联邦学习方法,其特征在于,包括:客户端将本地模型和全局模型之间的差异作为约束因子,更新本地局部模型;
基于更新的本地局部模型参数和全局模型参数,采用互信息计算扰动添加值;
将扰动添加值添加到更新的本地局部模型的参数中,将添加扰动的本地局部模型参数发送给中心服务器;
中心服务器对接收到的添加扰动的本地局部模型参数进行聚合,根据聚合后的数据对模型进行重构得到本轮训练的全局模型,再下发给各客户端;
具体的,首先,客户端Ci将自己的本地私有数据Di=(x,y)分别输入到本地模型ωl和全局模型ωg中,得到两个预测概率pl和pg,预测概率之间的差值反映了本地模型ωl和全局模型ωg之间的差异;
预测概率是把数据输入到模型中后,得到的输入数据属于各个类别的概率,每个客户端在训练时都需要计算预测概率;
客户端Ci计算这两个预测概率之间的KL散度 将
KL散度值作为训练损失的一个约束因子,计算训练损失的约束因素C=γ·DKL(pl||pg),其中γ是一个超参数;
将得到的约束因素与本地模型训练的交叉熵损失loss相加,计算新的损失函数L=loss+C;
最后,客户端Ci采用随机梯度下降算法最小化损失函数L计算梯度 得到训练好的本地局部模型参数 其中α为梯度移动的步长;
具体的,客户端Ci首先根据本地局部模型参数ωi和上一轮接收到的全局模型参数 计算截断阈值 其中β是一个可调参数,称为截断因子;
客户端Ci基于截断阈值对训练好的本地局部模型参数ωi执行截断,具体方法如下:客户端Ci计算截断模型参数的敏感度 和 其中σ0是一个固定的噪声水平值,最后得到此本地局部模型需要添加的随机高斯噪声
使用根据本地局部模型和上一轮接收到的全局模型准确估计敏感度,并进一步计算添加到局部模型参数中的高斯噪声方法,减轻因添加差分隐私噪声导致的模型精度下降问题,从而在更高的隐私保护级别下实现更小的模型精度损失;
每个客户端Ci基于噪声控制方法确定在本地局部模型中最终需要添加的扰动大小,具体地,首先,客户端Ci基于互信息计算噪声控制变量其中H(ωi)是本地局部模型参数ωi的熵, 是全局模型 的熵, 是ωi和的联合熵,然后,客户端Ci根据MIi计算动态隐私噪声调节系数 接下来,确定需要添加的扰动大小
基于得到的扰动添加值,客户端Ci得到添加扰动的本地局部模型参数 将添加扰动的本地局部模型参数 发送给中心服务器。
2.如权利要求1所述的一种基于本地差分隐私噪声控制的联邦学习方法,其特征在于,所述中心服务器对接收到的添加扰动的本地局部模型参数进行聚合,根据聚合后的数据对模型进行重构得到本轮训练的全局模型,具体包括:中心服务器接收添加扰动的本地局部模型参数,当收集的参数数量达到预设值时,采用FedAvg聚合算法,对收集到的添加扰动的本地局部模型参数进行聚合,得到本轮训练的全局模型。
3.如权利要求2所述的一种基于本地差分隐私噪声控制的联邦学习方法,其特征在于,所述预设值为满足FedAvg聚合算法所需要的参数数量。
4.如权利要求1所述的一种基于本地差分隐私噪声控制的联邦学习方法,其特征在于,还包括:中心服务器将重构后的本轮训练的全局模型下发给各客户端,各客户端将所述全局模型作为下一轮联邦学习训练的初始模型,训练直至全局模型收敛。
5.一种基于本地差分隐私噪声控制的联邦学习系统,其特征在于,包括:本地模型更新模块,用于客户端将本地模型和全局模型之间的差异作为约束因子,更新本地局部模型;
噪声计算模块,用于基于更新的本地局部模型参数和全局模型参数,采用互信息计算扰动添加值;
上传模块,用于将扰动添加值添加到更新的本地局部模型的参数中,将添加扰动的本地局部模型参数发送给中心服务器;
下发模块,用于中心服务器对接收到的添加扰动的本地局部模型参数进行聚合,根据聚合后的数据对模型进行重构得到本轮训练的全局模型,再下发给各客户端;
具体的,首先,客户端Ci将自己的本地私有数据Di=(x,y)分别输入到本地模型ωl和全局模型ωg中,得到两个预测概率pl和pg,预测概率之间的差值反映了本地模型ωl和全局模型ωg之间的差异;
预测概率是把数据输入到模型中后,得到的输入数据属于各个类别的概率,每个客户端在训练时都需要计算预测概率;
客户端Ci计算这两个预测概率之间的KL散度 将
KL散度值作为训练损失的一个约束因子,计算训练损失的约束因素C=γ·DKL(pl||pg),其中γ是一个超参数;
将得到的约束因素与本地模型训练的交叉熵损失loss相加,计算新的损失函数L=loss+C;
最后,客户端Ci采用随机梯度下降算法最小化损失函数L计算梯度 得到训练好的本地局部模型参数 其中α为梯度移动的步长;
具体的,客户端Ci首先根据本地局部模型参数ωi和上一轮接收到的全局模型参数 计算截断阈值 其中β是一个可调参数,称为截断因子;
客户端Ci基于截断阈值对训练好的本地局部模型参数ωi执行截断,具体方法如下:客户端Ci计算截断模型参数的敏感度 和 其中σ0是一个固定的噪声水平值,最后得到此本地局部模型需要添加的随机高斯噪声
使用根据本地局部模型和上一轮接收到的全局模型准确估计敏感度,并进一步计算添加到局部模型参数中的高斯噪声方法,减轻因添加差分隐私噪声导致的模型精度下降问题,从而在更高的隐私保护级别下实现更小的模型精度损失;
每个客户端Ci基于噪声控制方法确定在本地局部模型中最终需要添加的扰动大小,具体地,首先,客户端Ci基于互信息计算噪声控制变量其中H(ωi)是本地局部模型参数ωi的熵, 是全局模型 的熵, 是ωi和的联合熵,然后,客户端Ci根据MIi计算动态隐私噪声调节系数 接下来,确定需要添加的扰动大小
基于得到的扰动添加值,客户端Ci得到添加扰动的本地局部模型参数 将添加扰动的本地局部模型参数 发送给中心服务器。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1‑4中任一项所述的一种基于本地差分隐私噪声控制的联邦学习方法中的步骤。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑4中任一项所述的一种基于本地差分隐私噪声控制的联邦学习方法中的步骤。