利索能及
我要发布
收藏
专利号: 2023110075395
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种联邦学习模型中毒重建的方法,其特征在于,包括:获取中毒的联邦学习模型,所述联邦学习模型由各客户机的本地模型聚合得到;

基于各客户机在训练期间的本地模型的准确率,筛选出在联邦学习模型训练期间中毒的客户机,删除联邦学习模型中由中毒的客户机聚合得到的局部模型,将中毒的客户机作为恶意节点、未中毒的客户机作为诚实节点,将恶意节点从初始DAG网络中移除,得到第二DAG网络;

基于所述第二DAG网络中各诚实节点的本地模型,逐轮聚合各诚实节点的本地模型,得到联邦学习模型的最新全局模型,完成联邦学习模型中毒重建。

2.根据权利要求1所述的联邦学习模型中毒重建的方法,其特征在于,所述联邦学习模型,包括:n个客户机,每个客户机节点为 , ,客户机节点 有本地隐私数据 ;

所述联邦学习模型的起始训练时间为 ,表示训练第 轮, ,表示联邦学习模型的性能在第 轮后达到预定目标;

所述联邦学习模型的初始训练模型为 ,在训练第 轮,参与本轮训练的客户机节点基于本地隐私数据 训练得到本地模型 ,所述本地模型 聚合得到全局模型 ,聚合得到全局模型 为所述联邦学习模型;

联邦学习正常训练完成时间为 ,训练得到的联邦学习模型为 。

3.根据权利要求2所述的联邦学习模型中毒重建的方法,其特征在于,所述中毒的联邦学习模型,包括:在训练时刻 遭受攻击,有 个随机的客户机遭到攻击被控制成为中毒的客户机,中毒的客户机向联邦学习模型进行投毒攻击,恶意梯度 被添加到遭受攻击之后的梯度聚合过程中,联邦学习模型中毒,聚合得到全局模型由 被篡改为;其中, 的取值范围为 ;

在训练时刻 ,联邦学习模型中毒被发现、训练中止,训练中止时得到的全局模型为 ,训练得到全局模型 为所述中毒的联邦学习模型。

4.根据权利要求3所述的联邦学习模型中毒重建的方法,其特征在于,所述筛选出在联邦学习模型训练期间中毒的客户机,包括:步骤a:对联邦学习模型训练中止的第 轮得到的全局模型进行检索,检索得到参与该轮训练的全部客户机,组成客户机集 ;

步骤b:根据实施攻击的敌手模型,初始化准确率阈值 ;

步骤c:基于客户机集 中各客户机 在训练第 轮的本地模型,依次测试各本地模型在测试集上的准确率 ;依次比较 和,若满足 ,则记录该客户机

的本轮梯度更新为恶意更新 ,否则保留梯度更新 ,使用 重新聚合本轮的本地梯度模型,得到第 轮的全局模型;其中,所述测试集为未遭受攻击的全局测试集;

步骤d:依据DAG区块链中的DAG网络结构图,对检索第 轮得到的全局模型进行检索,检索得到参与该轮训练的全部客户机,组成客户机集;重复步骤c,得到保留梯度更新 和全局模型 ;

步骤e:重复步骤d共q次,回退至训练的第 轮,得到全局模型 ,其中 , 为训练第 轮, 为遭受攻击的轮次, 为全局模型性能下降的轮次;

步骤f:统计第 轮到第 轮期间客户机 的梯度更新被认定为恶意更新的次数 ;

步骤g:初始化次数临界值 ,若满足 ,则该客户机为在训练期间中毒的客户机。

5.根据权利要求4所述的联邦学习模型中毒重建的方法,其特征在于,所述准确率阈值为敌手模型中恶意节点数的 分位数,所述敌手模型通过下式表示:,

其中,指诚实节点数, 指敌手模型中诚实节点数与恶意节点数之比,指恶意节点数,准确率阈值取第一 分位数。

6.根据权利要求4所述的联邦学习模型中毒重建的方法,其特征在于,所述基于所述第二DAG网络中各诚实节点的本地模型,逐轮聚合各诚实节点的本地模型,得到联邦学习模型的最新全局模型,包括:获取第二DAG网络中各诚实节点的本地模型 ,聚合得到的全局模型梯度;其中,t的取值范围为 ;

基于每轮的全局模型梯度,采用带延迟补偿的异步梯度下降算法,自第 轮起重新聚合全局模型梯度,通过下式表示:,

其中, 为一轮聚合后的全局模型梯度, 为第 轮的全局模型梯度, 为求 的梯度, 为高阶量;

逐轮聚合q轮直到训练中止的第 轮各诚实节点的全局模型梯度,得到,作为联邦学习模型的最新全局模型。

7.一种联邦学习模型中毒重建的装置,其特征在于,包括:获取模块:用于获取中毒的联邦学习模型,所述联邦学习模型由各客户机的本地模型聚合得到;

溯源模块:用于基于各客户机在训练期间的本地模型的准确率,筛选出在联邦学习模型训练期间中毒的客户机,删除联邦学习模型中由中毒的客户机聚合得到的局部梯度模型,将中毒的客户机作为恶意节点、未中毒的客户机作为诚实节点,将恶意节点从初始DAG网络中移除,得到第二DAG网络;

重建模块:用于基于所述第二DAG网络中各诚实节点的本地模型,逐轮聚合各诚实节点的本地模型,得到最新的全局模型,完成联邦学习模型中毒重建。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1‑6中任一所述的联邦学习模型中毒重建的方法。

9.一种设备,其特征在于,包括:

存储器,用于存储指令;

处理器,用于执行所述指令,使得所述设备执行实现如权利要求1‑6任一项所述的联邦学习模型中毒重建的方法的操作。