利索能及
我要发布
收藏
专利号: 2020104656176
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于类激活映射的对抗防御方法,其特征在于,包括如下步骤:S1、通过梯度上升方法建立使预测模型中神经元激活值最大化的对比图像集;

S2、基于待测图像的类激活映射图定位判定区域,包括:S21、建立定位模型,所述定位模型与预测模型的区别在于将预测模型中softmax层的上一层改为大小为(1,1,c)的全局平均池化层;

S22、将全局平均池化层的上一卷积层输出的特征图记为(h,w,c),全局平均池化层的各通道权重wn分别等于特征图中各通道特征的平均数,其中h,w,c分别表示特征图的长度,宽度和通道总数;

S23、将特征图(h,w,c)对应的热力图经过全局平均池化层池化后,得到该待测图像的类激活映射图CAM,计算公式如(1)所示:式中,wn表示全局平均池化层第n层的权重值,fn表示第n通道特征图的热力图;

S24、将类激活映射图叠加到待测图像上,选取高亮区域为判定区域;

S3、基于二值化算法计算待测图像判定区域和相同标签对比图像判定区域的不一致度;

S4、判断待测图像是否带有扰动,若不一致度大于阈值则待测图像带有对抗扰动,反之,为正常图像;

S5、移除待测图像中的对抗扰动。

2.根据权利要求1所述的基于类激活映射的对抗防御方法,其特征在于,所述的预测模型包括卷积层,池化层、全连接层和softmax层。

3.根据权利要求2所述的基于类激活映射的对抗防御方法,其特征在于,所述的预测模型包括依次连接的m个特征提取层、全连接层和softmax层依次连接,所述的特征提取层为依次连接的卷积层和池化层。

4.根据权利要求1所述的基于类激活映射的对抗防御方法,其特征在于,所述通过梯度上升方法建立使预测模型中神经元激活值最大化的对比图像集,具体如下:S11、选取图像集,从图像集中随机选取标签为l的图像x;

S12、将图像x输入预测模型,计算图像x在预测模型第i层中第j个神经元的激活值ai,j和激活值梯度 并根据式(2)对图像x进行像素迭代更新;

公式中,x′为迭代更新后的图像,x为输入的图像,η为迭代步长;

*

S13、重复执行S12,直到迭代次数达到预设值得到最终图像x,此时神经元激活值ai,j达*到最大,并将该最终图像x作为标签为l的对比图像,以此构建对比图像集。

5.根据权利要求1~4任意一项所述的基于类激活映射的对抗防御方法,其特征在于,所述基于二值化算法计算待测图像判定区域和相同标签对比图像判定区域的不一致度,具体如下:S31、将待测图像输入预测模型,输出为标签为l;

S32、裁剪待测图像的判定区域作为图像Itest;裁剪标签为l的对比图像的判定区域作为图像Icreat;

S33、将图像Itest和图像Icreat进行2D快速傅里叶变换得到傅里叶频谱灰度图像;

S34、对步骤S33中得到的傅里叶频谱灰度图像进行二值化操作得到二值化图像;

S35、计算两张二值化图像的不一致度,计算公式如式(3)所示:其中,Ptest表示待测图像的二值图像,Pcreat表示与待测图像同一标签的对比图像的二值图像,|Ptest∩Pcreat|表示Pcreat和Ptest中像素值都为1的像素个数;|Ptest∪Pcreat|表示Pcreat像素值为1和Ptest像素值为1的并集中的像素个数。

6.根据权利要求5所述的基于类激活映射的对抗防御方法,其特征在于,所述二值化算法为大律法二值化、灰度平局值法或百分比阈值法。

7.根据权利要求6所述的基于类激活映射的对抗防御方法,其特征在于,所述大律法二值化包括如下步骤:a)首先计算待测图像和对比图像的直方图,将图像所有的像素点按照0‑255共256个像素等级,统计落在每个等级的像素点数量;

b)归一化直方图;

c)设置T表示分类的阈值,从0开始迭代,像素值在0‑T灰度级范围的像素叫做前景像素,像素值在T‑255灰度级范围的像素叫做背景像素;

d)通过归一化的直方图,统计前景像素所占整幅图像的比例a0,并统计前景像素的平均灰度u0;统计背景像素所占整幅图像的比例a1,并统计背景像素的平均灰度u1;

e)计算前景像素和背景像素的方差,计算公式如式(4)所示:2

g=a0*a1*(u0‑u1)   (4)

式中,u0表示前景像素的平均灰度;

f)将灰度级阈值T的等级加1,转到步骤d)直到T为256时结束迭代;

g)将前景像素和背景像素的方差最大时对应的灰度级阈值T作为全局阈值二值化图像。

8.根据权利要求1所述的基于类激活映射的对抗防御方法,其特征在于,所述移除对抗扰动为在对抗扰动处进行中值滤波。