利索能及
我要发布
收藏
专利号: 2024117193062
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于数据集压缩的联邦元学习隐私保护的方法,其特征在于,所述方法包括:S1、每个客户端独立地初始化一个合成数据集取代联邦元学习中的客户端的原始数据集,再通过生成对抗网络随机初始化合成数据集和学习率;

S2、将合成数据集和学习率输入初始本地模型参数进行训练得到新一轮本地模型参数;

然后使得原始数据集在新的本地模型参数上的损失最小化,优化合成数据集和学习率;

不断迭代优化,直到最大均值差异收敛到预设值或达到预设的迭代次数,得到最终合成数据集和最终学习率;

S3、联邦元学习基于最终合成数据集和最终学习率得到真实梯度,再通过嵌入联邦元学习中的DLG攻击得到虚拟数据集和虚拟梯度;

最后计算原始数据在联邦元学习的原始梯度,根据原始梯度与虚拟梯度的损失最大化在最终合成数据集中的图像数据上添加噪声,得到噪声化最终合成数据集和噪声化学习率;

所述S2具体包括:

S21、合成数据集 和对应的学习率 在中心服务器下发的初始本地模型参数θ0中进行一轮训练,得到新一轮本地模型参数θ1:(1);

公式(1)中, 是在θ0上的损失,是梯度,是学习率,θ1是新一轮本地模型参数;

S22、计算原始数据集在新的本地模型参数θ1上的损失,将这个损失作为优化目标,使损失最小化来优化合成数据集和学习率:(2);

公式(2)中, 是在初始化本地模型参数θ0下的损失函数;

S23、一轮的优化结果如下,得到一轮优化合成数据集 和一轮优化学习率 ,(3);

公式(3)中, 是一轮优化后的合成数据集和学习率;

S24、将一轮优化的合成数据集 和一轮优化学习率 在一轮训练后的本地模型参数θ1上再次训练得到θ2,不断迭代优化,直到最大均值差异收敛到预设值或达到预设的迭代次数,得到最终的优化合成数据集 和优化学习率 ,最终的优化目标如下:(4);

公式(4)中, 是最终优化后的合成数据集和对应学习率;

所述S3具体包括:

S31、参与训练的n个客户端输入最终合成数据集,然后在每个客户端的本地模型当中进行训练;

S32、输入的最终合成数据集在本地模型进行训练得到生成的梯度,得到 W1到 Wn总共n个客户端梯度;

S33、将本地模型训练所生成的客户端梯度上传到中心服务器,然后中心服务器进行聚合平均得到真实梯度,不断迭代,得到真实梯度 W;

S34、然后DLG攻击将中心服务器作为攻击者,在Python中通过numpy库来随机初始化虚拟数据集,初始的虚拟数据集包括虚拟输入 ,虚拟标签 ;初始的虚拟数据集的批量大小等于最终合成数据集的批量大小;初始的虚拟数据集在中心服务器的全局模型中进行训练得到虚拟客户端梯度,与n个客户端对应得到 到 总共n个虚拟客户端梯度;

S35、将生成的n个客户端虚拟梯度进行聚合平均得到虚拟梯度 ,用于更新虚拟数据集;

(5);

公式(5)中,,分别是虚拟输入和虚拟标签,W是全局模型的参数,L是损失函数,是微分求导, 是可微模型, 是生成的最终虚拟梯度;

S36、中心服务器将真实梯度 W下发至各客户端用于全局模型的迭代更新,不断的优化虚拟梯度使其拟合真实梯度,同时,也使更新后的虚拟数据集拟合最终合成数据集;

将虚拟梯度与真实梯度之间的距离作为损失对虚拟数据集进行迭代更新,得到最终虚拟数据集:(6);

公式(6)中, , 分别是更新完成后的虚拟输入和虚拟标签,W是来自最终合成数据集的真实梯度;

S37、参与训练的n个正常客户端输入原始数据集中的原始数据,然后在客户端的本地模型当中进行训练得到 到 共n个原始客户端梯度,中心服务器进行聚合平均得到原始梯度 ,通过联邦元学习不断迭代更新,得到最终原始梯度 ;

通过梯度上升来进行反向优化,通过最大化最终虚拟梯度和最终原始梯度的损失,使得虚拟数据集与原始数据集间损失最大:(7);

公式(7)中, 是最终原始梯度; 是最终虚拟梯度迭代更新的最后一轮时对应的最终虚拟梯度;

S38、根据虚拟数据集与原始数据的损失最大化在最终合成数据集中的图像数据上添加噪声;

S39、再将加入噪声后的最终合成数据集重复S2的步骤,直至收敛,得到噪声化最终合成数据集 和噪声化学习率 ;

(8);

公式(8)中, 是噪声化最终合成数据集和噪声化学习率, 是在本地模型参数θn‑1下的损失函数, 表示均值为0,方差为 的高斯分布;

所述在最终合成数据集中的图像数据上添加噪声包括:使用随机数生成器生成与图像尺寸相同的高斯分布随机值,然后将生成的高斯噪声与最终合成数据集中的图像数据相加。

2.一种基于数据集压缩的联邦元学习隐私保护的装置,其特征在于,所述装置包括:处理器;

存储器,其上存储有可在所述处理器上运行的计算机程序;

其中,所述计算机程序被所述处理器执行时实现如权利要求1所述的一种基于数据集压缩的联邦元学习隐私保护的方法的步骤。

3.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1所述方法的步骤。