利索能及
我要发布
收藏
专利号: 2021109600928
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种物理对抗样本生成方法,其特征在于,包括:获取原始图像集、风格图像集、所述原始图像集的攻击蒙版图像和所述风格图像集的攻击蒙版图像;

采用所述原始图像集作为训练样本,采用模型窃取法,确定黑盒目标模型的替代模型;

基于所述原始图像集、所述风格图像集、所述原始图像集的攻击蒙版图像、所述风格图像集的攻击蒙版图像和所述替代模型,采用风格迁移技术思想和基于梯度的对抗样本生成方法生成所述原始图像集中各图像的攻击区域的风格扰动;

对所述原始图像集进行仿射变换生成变换图像集,并基于所述替代模型,采用基于梯度的对抗样本生成方法生成所述变换图像集的自适应扰动;

将所述风格扰动和所述自适应扰动添加到所述原始图像集的攻击区域,生成所述原始图像集中每一张原始图像的物理对抗样本。

2.根据权利要求1所述的一种物理对抗样本生成方法,其特征在于,所述采用所述原始图像集作为训练样本,采用模型窃取法,确定黑盒目标模型的替代模型,具体包括:将所述原始图像集作为训练样本输入所述黑盒目标模型,并利用所述训练样本和所述黑盒目标模型输出的对应的预测标签值构建替代样本集;

将所述替代样本集和所述原始图像集对应的图像真实标签值输入VGG19网络,并以替代模型损失函数最小为目标进行训练,得到训练好的VGG19网络;所述替代模型损失函数是根据所述图像真实标签值、所述VGG19网络输出的预测标签值和所述黑盒目标模型输出的预测标签值构建而成;

将所述训练好的VGG19网络确定为黑盒目标模型的替代模型。

3.根据权利要求1所述的一种物理对抗样本生成方法,其特征在于,所述基于所述原始图像集、所述风格图像集、所述原始图像集的攻击蒙版图像、所述风格图像集的攻击蒙版图像和所述替代模型,采用风格迁移技术思想和基于梯度的对抗样本生成方法生成所述原始图像集中各图像的攻击区域的风格扰动,具体包括:采用所述替代模型构建局部特征提取器;

对于所述原始图像集中的任意一张原始图像,采用所述原始图像集的攻击蒙版图像确定当前迭代次数t下的图像对抗样本的攻击区域,采用所述风格图像集的攻击蒙版图像确定所述风格图像集中风格图像的攻击区域;其中,第1次迭代时的图像对抗样本为所述原始图像;

采用所述局部特征提取器分别提取所述图像对抗样本的攻击区域的风格特征、所述风格图像的攻击区域的风格特征、所述图像对抗样本的攻击区域的内容特征和所述原始图像集中原始图像的攻击区域的内容特征;

根据所述图像对抗样本的攻击区域的风格特征和所述风格图像的攻击区域的风格特征,确定风格特征损失函数;

根据所述图像对抗样本的攻击区域的内容特征和所述原始图像的攻击区域的内容特征,确定内容特征损失函数;

将所述风格特征损失函数和所述内容特征损失函数的梯度确定为所述原始图像在当前迭代次数t下的风格扰动,从而得到所述原始图像集中每一张原始图像的攻击区域当前迭代次数t下的风格扰动。

4.根据权利要求1所述的一种物理对抗样本生成方法,其特征在于,所述对所述原始图像集进行仿射变换生成变换图像集,并基于所述替代模型,采用基于梯度的对抗样本生成方法生成所述变换图像集的自适应扰动,具体包括:从预设图像变换集合中随机选择一种图像变换,对当前迭代次数t下的图像对抗样本进行仿射变换,得到当前迭代次数t下的变换图像;其中,第1次迭代时的图像对抗样本为原始图像集中的任意一张原始图像;所述预设图像变换集合中的每一个元素表示一种图像变换;所述图像变换包括旋转、缩放和平移变化;

将所述变换图像输入所述替代模型,所述替代模型输出所述变换图像的预测值;

基于所述变换图像的预测值和图像真实标签值,计算交叉熵损失函数的梯度,并将所述交叉熵损失函数的梯度确定为所述变换图像在当前迭代次数t下的自适应扰动,从而得到所述原始图像集对应的变换图像集在当前迭代次数t下的自适应扰动。

5.根据权利要求1所述的一种物理对抗样本生成方法,其特征在于,所述将所述风格扰动和所述自适应扰动添加到所述原始图像集的攻击区域,生成物理对抗样本,具体包括:由当前迭代次数t下的风格扰动和当前迭代次数t下的自适应扰动计算当前迭代次数t下的扰动;

由当前迭代次数t下的风格扰动、当前迭代次数t下的自适应扰动和当前迭代次数t下的扰动计算下一迭代次数t+1下的扰动;

基于当前迭代次数t下的图像对抗样本和下一迭代次数t+1下的扰动,生成下一迭代次数t+1下的图像对抗样本;

判断当前迭代次数t是否达到预设的迭代次数;

若是,则将下一迭代次数t+1下的图像对抗样本确定为物理对抗样本。

6.根据权利要求2所述的一种物理对抗样本生成方法,其特征在于,所述替代模型损失函数,具体为:

其中,Lproxy表示替代模型损失函数;LCE(·)表示交叉熵损失函数;ytrue表示图像真实标签值;yproxy表示VGG19网络输出的预测标签值; 表示温度T下VGG19网络输出的预测标签值; 表示温度T下黑盒目标模型输出的预测标签值,λ表示权重参数。

7.根据权利要求3所述的一种物理对抗样本生成方法,其特征在于,所述风格特征损失函数,具体为:l

其中,LS表示风格特征损失函数; 表示图像对抗样本的攻击区域的风格特征;G(s)表示风格图像的攻击区域的风格特征; 表示当前迭代次数t下的图像对抗样本;s表示风格图像;l表示局部特征提取器中的卷积层的序号;Sl∈{1,3,5,13}表示风格卷积层集合;

所述内容特征损失函数,具体为:其中,LC表示内容特征损失函数; 表示图像对抗样本的攻击区域的内容特征;

表示原始图像集中原始图像的攻击区域的内容特征; 表示原始图像;Cl∈{9,10}表示内容卷积层集合;

所述风格扰动的计算公式为:

LSC=‑(βLS+LC);

s

其中,LSC表示风格内容特征损失函数;β表示超参数; 表示LSC关于 的梯度;g 表示当前迭代次数t下的风格扰动。

8.根据权利要求4所述的一种物理对抗样本生成方法,其特征在于,所述自适应扰动的计算公式为:

其中, 表示交叉熵损失函数的梯度;LCE(·)表示交叉熵损失函数;yt表示a

当前迭代次数t下替代模型输出的变换图像的预测值;ytrue表示图像真实标签值;g表示当前迭代次数t下的自适应扰动。

9.根据权利要求5所述的一种物理对抗样本生成方法,其特征在于,所述物理对抗样本,具体为:

a s

gt=g+g ,

s a

其中,g 表示当前迭代次数t下的风格扰动;g表示当前迭代次数t下的自适应扰动;gt表示当前迭代次数t下的扰动;gt+1表示下一迭代次数t+1下的扰动;μ表示衰减因子;α表示每次迭代的步长;sign(·)表示符号函数;||·||1表示L1范数; 表示当前迭代次数t下的图像对抗样本; 表示对 的每个像素裁剪以约束在[0,255]范围内; 表示下一迭代次数t+1下的图像对抗样本。

10.一种物理对抗样本生成系统,其特征在于,包括:图像获取模块,用于获取原始图像集、风格图像集、所述原始图像集的攻击蒙版图像和所述风格图像集的攻击蒙版图像;

替代模型构建模块,用于采用所述原始图像集作为训练样本,采用模型窃取法,确定黑盒目标模型的替代模型;

风格扰动生成模块,用于基于所述原始图像集、所述风格图像集、所述原始图像集的攻击蒙版图像、所述风格图像集的攻击蒙版图像和所述替代模型,采用风格迁移技术思想和基于梯度的对抗样本生成方法生成所述原始图像集中各图像的攻击区域的风格扰动;

自适应扰动生成模块,用于对所述原始图像集进行仿射变换生成变换图像集,并基于所述替代模型,采用基于梯度的对抗样本生成方法生成所述变换图像集的自适应扰动;

物理对抗样本生成模块,用于将所述风格扰动和所述自适应扰动添加到所述原始图像集的攻击区域,生成所述原始图像集中每一张原始图像的物理对抗样本。