1.一种基于强化学习奖励机制的激活函数自适应变化模型窃取防御方法,其特征在于,包括以下步骤:
(1)构建目标模型,所述目标模型的全连接层连接有softmax激活函数的变形形式,softmax激活函数中添加有自适应变换项系数ε;
(2)获取用于训练目标模型的图像数据集,分成训练集和测试集后对目标模型进行训练;
(3)获取与图形数据集对应的代理数据集,输入目标模型后得到添加自适应变换项系数的置信度向量,将对应的输入图片和置信度向量保存,作为窃取模型的训练集,记作SETdefence;
(4)构建窃取模型并利用窃取模型的训练集SETdefence进行训练,所述窃取模型的模型结构与目标模型一致;每一轮训练后使用步骤(2)中的测试集测试窃取模型的测试准确率,记作ACCdefence;
(5)以ACCdefence作为强化学习的优化目标,对目标模型和窃取模型进行迭代训练,每一轮训练的ACCdefence记为当前的优化状态ACCdefence‑t,下一轮的ACCdefence记为ACCdefence‑t+1,当ACCdefence‑t+1小于ACCdefence‑t,奖励Rt加一,反之奖励Rt减一;同时对当前的自适应变化项系数εt进行自适应变换系数随机操作at;
(6)训练完成后,得到具有窃取防御功能的目标模型,并进行图像分类的应用。
2.根据权利要求1所述的基于强化学习奖励机制的激活函数自适应变化模型窃取防御方法,其特征在于,步骤(1)中,所述的目标模型包括但不限于Alexnet模型、VGG19模型、ResNet‑34模型。
3.根据权利要求1所述的基于强化学习奖励机制的激活函数自适应变化模型窃取防御方法,其特征在于,步骤(1)中,所述softmax激活函数的变形形式具体为:式中,ε为自适应变换项系数,利用强化学习的奖励机制,实现自适应优化变换;Z(x,i)为全连接层后输出的特征向量,表示的是输入的样本x在第i类的权重大小,i=1,2,....C,C是模型训练的样本类别总数。
4.根据权利要求1所述的基于强化学习奖励机制的激活函数自适应变化模型窃取防御方法,其特征在于,步骤(4)中,使用交叉熵损失函数作为窃取模型训练优化的损失函数,使用adam优化器进行优化,交叉熵损失函数的计算公式如下:其中Lossstl(x)为窃取模型的损失函数,N为输入的样本数量,y为目标模型的输出,y’为窃取模型的输出。
5.根据权利要求1所述的基于强化学习奖励机制的激活函数自适应变化模型窃取防御方法,其特征在于,步骤(5)中,设定ACCdefence的阈值为0.05,当ACCdefence小于0.05时,结束训练。
6.根据权利要求1所述的基于强化学习奖励机制的激活函数自适应变化模型窃取防御方法,其特征在于,步骤(5)中,对当前的自适应变化项系数εt进行自适应变换系数随机操作at的公式为:
其中,εt+1表示更新后的自适应变化项系数。