1.一种基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,包括以下步骤:
(1)将数据集中的每张样本平均分成两部分,组成样本集DA和样本集DB,且仅样本集DB包含样本标签,样本集DA、DB分配到边缘终端PA和边缘终端PB;
(2)依据样本集DA对边缘终端PB的边缘模型MA进行训练,依据样本集DB对边缘终端PB的边缘模型MB进行训练,边缘终端PA将训练过程产生的特征数据发送给PB,PB利用接收的特征数据和激活神经元通路数据计算损失函数,边缘终端PA和PB并将各自的损失函数掩码加密后上传至服务端;
(3)服务端对边缘终端PA和PB上传的损失函数掩码解密后,聚合损失函数后求解聚合的损失函数获得MA和MB的梯度信息,并返回梯度信息至边缘终端PA和PB以更新边缘模型网络参数。
2.如权利要求1所述的基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,依据样本集DA对边缘模型MA进行训练时,边缘模型MA的损失函数LossA为:2
其中,ΘA表示边缘模型MA的模型参数, 表示属于样本集A的第i个样本,||·||表示L1范数的平方。
3.如权利要求1所述的基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,依据样本集DB对边缘模型MB进行训练时,边缘模型MB的总损失函数Losssum为:losssum=lossB+λ*losstopk+lossAB其中,lossB表示边缘模型MB的基本损失,losstopk表示神经通路损失,lossAB表示共同损失,λ表示自适应调节系数,作为神经通路加密的部分因子,ΘB表示边缘模型MB的模型参数,2
表示属于样本集B的第i个样本,yi表示 对应的标签,||·||表示L1范数的平方,i表示样本索引,N为样本数量,NUPathl(T,N)表示边缘模型第l层的多个最大激活神经元的激活值,L表示边缘模型的总层数,T每次输入样本个数,N表示每层的神经元个数。
4.如权利要求3所述的基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,NUPathl(T,N)的计算公式为:其中, 为功能函数, 表示给定输入样本 时,第l层中与输入样本对应的神经元ni的激活值,maxk(·)表示提取每层中激活值前k大的k个神经元的激活值。
5.如权利要求1所述的基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,步骤(3)中,服务端聚合的损失函数Loss为:Loss=lossB+λ*losstopk+lossAB+lossAMA和MB的梯度信息分别为 和
6.如权利要求1所述的基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,边缘终端PA和PB接收到服务端返回的梯度信息后,依据梯度信息更新各自边缘模型的MA和MB的网络参数,基于更新后的新网络参数再继续训练。
7.如权利要求1所述的基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,对样本进行划分,获得样本集DA和样本集DB后,还需要对样本集DA和样本集DB中属于来源于同一个样本的部分样本对齐,即保证边缘模型MA和边缘模型MB同一次输入的部分样本来源于同一个样本。
8.如权利要求1所述的基于神经通路特征提取的垂直联邦下模型窃取防御方法,其特征在于,服务端采用随机梯度下降求解聚合的损失函数的梯度信息。