利索能及
我要发布
收藏
专利号: 2022109555132
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种针对联邦学习神经元梯度攻击的防御方法,其特征在于,包括:(1)服务器调用全局模型,分发给各个客户端;

(2)客户端接收服务器下发的全局模型,并使用本地数据对全局模型进行训练,得到客户端梯度更新;

对于良性客户端来说,联邦学习参与者会在使用本地数据对服务器下发的全局模型进行正常训练,表示为:其中, 为数据样本, 表示样本对应的样本标签;函数P为对应的训练优化函数,通过对数据的学习,得到当前轮t客户端i从数据中获得的模型梯度更新wi;

对于攻击者客户端而言,在正常训练本地模型之外,在梯度更新上传阶段,攻击者会篡改梯度更新,具体为:其中,wi表示攻击者的恶意篡改梯度;wi与wi具有相同的网络结构,wi中非攻击目标的神经元参数值都为0,目标神经元参数值随着攻击者的攻击目的变化,得到中毒客户端梯度(3)客户端将梯度更新发送至服务器,服务器接收梯度更新;为每个客户端创建一个梯度存储器,存储设定轮数的客户端所上传的梯度信息,同时创建神经元梯度变化向量记录客户端i第a个神经元第b个参数的变化;i=1~N,a=1~A,b=1~B;每次当前联邦学习回合数t达到设定轮数的倍数时,根据客户端梯度向量之间的广义Jaccard相似度,判断是否存在攻击者并找到攻击者客户端,一旦发现攻击者的存在,最近设定轮数的联邦学习将被作废,并重新聚合一个全局模型,发放到客户端;

(3.1)如果当前联邦学习回合数t为设定轮数的倍数,将应用神经元参数中毒防御机制进行聚合;包括:(3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度危险系数Dri、攻击者可能性Atti; 代表客户端i与客户端i’相同梯度变化向量之间的相似度,i=1~N,i’=1~N,i≠i’;

(3.1.2)判断是否存在攻击者;

存在Atti大于攻击者可能性阈值时,服务器将该客户端i标记为攻击者,启动模型保护策略,并舍弃当前全局模型,为安全起见,从梯度存储器中调取最近设定轮数的联邦学习第一次接收到的客户端上传的梯度更新,其中不包括被标记为恶意客户端的梯度,重新聚合一个全局模型,并发放到客户端;

Atti均小于等于攻击者可能性阈值时,不存在攻击者,直接执行步骤(3.2.2);

(3.2)如果当前联邦学习回合数t不为设定轮数的倍数,进行联邦平均聚合;服务器聚合所有客户端的梯度更新得到全局模型;

(3.2.1)保存当前客户端梯度更新到梯度存储器;

(3.2.2)执行联邦平均聚合,获得新的全局模型,并发放到客户端;

(4)重复步骤(2)~(3),直至联邦学习结束。

2.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法,其特征在于,步骤(1)包括:联邦学习的训练目标:

d

其中,G(w)表示全局模型,w表示模型参数,R表示所有模型参数集合;N代表存在N个参与方,分别处理N个本地模型Li(w),每一方基于私有数据集 进行训练,其中,数据集i样本数量ai=|Di|, 表示数据集i第j个数据样本以及相应的标签;

联邦学习的目标是获得一个全局模型,该模型对来自N方的分布式训练结果进行聚合;

t

具体来说,在第t轮,中央服务器将当前共享模型G 发送给N个客户端,客户端i通过使用自己的数据集Di和学习率lr,运行本地轮次的优化算法,以获得新的局部模型 然后,客户端将模型更新 发送到中央服务器,中央服务器将以其自身的学习率η对所有更新进t+1行平均,以生成新的全局模型G :

3.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法,其特征在于,步骤(3.1.1)中,广义Jaccard相似度的,数学表达为:式中,相似度JA是一个介于0到1之间的数,越接近1,说明相似度越高,反之相似度越低。

4.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法,其特征在于,步骤(3.1.1)中,危险系数Dri越高,代表该客户端越有可能是攻击者;

其中,函数1表示若满足条件,则返回值为1,若不满足条件则返回值为0。

5.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法,其特征在于,步骤(3.1.1)中,将危险系数Dri换算为攻击者可能性Atti: