利索能及
我要发布
收藏
专利号: 2023111509423
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于差分隐私的个性化联邦学习识别方法,其特征在于,所述方法在客户端执行,包括:获取来自服务器的初始化模型参数,并将初始化模型参数加载入预搭建的本地模型中,得到加载参数的本地模型;

基于隐私预算,采用个性化差分隐私算法对加载参数的本地模型进行噪声处理,并将噪声处理后的本地模型的共享层模型参数发送给服务器;

将来自服务器的聚合后的共享层模型参数加载入噪声处理后的本地模型的共享层中,然后冻结共享层,同时微调全连接层,得到个性化模型;

对个性化模型进行重复训练,直至达到全局迭代次数后,得到基于差分隐私的个性化联邦学习测试模型;

所述个性化差分隐私算法包括:

初始化一阶矩估计和二阶矩估计,并基于所选择的隐私预算,判定本地迭代次数是否达到预期设定次数;

当本地迭代次数未达到预期设定次数时,随机选取样本,对每个样本计算梯度,并进行梯度裁剪;根据用户选择的隐私预算,添加高斯噪声;然后依次更新偏一阶矩估计,更新偏二阶矩估计,修正一阶矩的偏差和修正二阶矩的偏差;最后进行计算更新和应用更新,完成一次本地迭代;

当本地迭代次数达到预期设定次数,直接输出噪声处理后的本地模型。

2.根据权利要求1所述的基于差分隐私的个性化联邦学习识别方法,其特征在于,搭建所述本地模型时使用动态卷积层,所述动态卷积层包括多个并行卷积核{ ,  },所述卷积核通过依赖于输入的注意力 为每个单独的输入x动态聚集 ,并使用相同的注意力来聚集偏差 ,其中 ,E为并行

卷积核的数量。

3.根据权利要求1所述的基于差分隐私的个性化联邦学习识别方法,其特征在于,将初始化模型参数加载入预搭建的本地模型中后,在加载参数的本地模型上设置超参数和最小化损失函数。

4.根据权利要求3所述的基于差分隐私的个性化联邦学习识别方法,其特征在于,所述最小化损失函数为:;

其中, 为参与客户端k上传的模型参数, 为参与客户端k经过t次本地迭代的共享层参数, 为参与客户端k经过t次本地迭代的全连接层参数,是聚合后的模型参数,nk为客户端k持有的数据集的数量, 为第t次迭代聚合后的共享层模型参数,μ为正则项参数,xi为数据集中的样本,li为聚合后的模型参数w对数据集中的样本xi预测的损失。

5.根据权利要求1所述的基于差分隐私的个性化联邦学习识别方法,其特征在于,若最大本地隐私预算大于全局差分隐私预算,则将来自服务器的经聚合和噪声处理后的共享层模型参数加载入噪声处理后的本地模型的共享层中。

6.根据权利要求1所述的基于差分隐私的个性化联邦学习识别方法,其特征在于,所述微调全连接层包括采用预处理后的图像数据集进行全连接层的训练。

7.根据权利要求6所述的基于差分隐私的个性化联邦学习识别方法,其特征在于,所述图像数据集的预处理方法包括:对图片数据进行缩放和裁剪,得到尺寸相同的图像;

对尺寸相同的图像进行标准化处理,使图像的每个元素处于[‑1,1]范围内,所述标准化处理的公式为:;

其中,channel为图像矩阵通道数,output[channel]为输出的图像矩阵,input[channel]为输入的图像矩阵,mean[channel]为图像矩阵平均值,std[channel]为图像矩阵标准差。

8.一种基于差分隐私的个性化联邦学习识别系统,其特征在于,用于实现权利要求1 7~任一项所述的方法,包括:

获取和数据处理模块,用于获取来自服务器的初始化模型参数,并将初始化模型参数加载入预搭建的本地模型中,得到加载参数的本地模型;

个性化差分隐私模块,用于基于隐私预算,采用个性化差分隐私算法对加载参数的本地模型进行噪声处理,并将噪声处理后的本地模型的共享层模型参数发送给服务器;

局部微调模块,用于将来自服务器的聚合后的共享层模型参数加载入噪声处理后的本地模型的共享层中,然后冻结共享层,同时微调全连接层,得到个性化模型;

迭代训练模块,用于对个性化模型进行重复训练,直至达到全局迭代次数后,得到基于差分隐私的个性化联邦学习测试模型。