1.一种基于类特征修复融合的图像取证对抗性攻击防御方法,其特征在于,包括以下步骤:将含有对抗扰动的原始图像输入至基于卷积神经网络构建的分类模型中提取特征,并对提取特征图进行类特征可视化,基于可视化结果获取重构区域后,对重构区域进行特征修复,获得修复图像;
原始图像去噪处理后得到去噪图像,融合修复图像和去噪图像,得到融合图像,依据融合图像的像素分布特征,选择图像质量高的若干个分类区域输入至分类模型中,将分类模型输出的最高分类概率作为防御后的类标,其中,依据融合图像的像素分布特征,选择图像质量高的若干个分类区域的过程为:将融合图像的像素值归一化为0~1之间,并从融合图像中选取多个尺寸为M×N的候选分类区域,计算每个候选分类区域的每个颜色通道的像素平均值和像素标准差:其中,k作为颜色通道索引,取值为1,2,3,分别表示R,G,B颜色通道, 表示第k个通道的像素平均值,σk表示第k个通道的像素标准差,Bijk表示第k个通道位置(i,j)处的像素值;
对像素平均值 和像素标准差σk进行非线性变换,公式如下:
其中,像素平均值 的非线性变换强调像素的平均值,因此对较亮和不饱和的区域给予更好的分数 像素标准差σk的非线性变换强调更高的值,从而为高纹理的区域提供更高的分数score(σk);
对每个候选分类区域的三个通道的分数 和分数score(σk)做加权求和得到候选分类区域得分score(p):候选分类区域得分score(p)越高,候选分类区域图像质量越高,含有的设备指纹信息对分类越有益。
2.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法,其特征在于,对提取特征图进行类特征可视化此过程为:定义第m个特征图对应第c个类别的权重为 通过以下公式计算得到:
c
其中,Z表示第m个特征图的像素总个数,y 表示第个c类别的得分梯度, 表示第m个特征图中位置(i,j)处的像素值;
对所有特征图对应的第c个类别的权重与像素值 加权求和,得到位置(i,j)处针对第c个类别的热力图热力图 作为可视化结果,热力区域代表了分类模型对输入图像针对第c个类别的感兴趣的区域,颜色从绿到红,特征的重要性依次递增。
3.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法,其特征在于,基于可视化结果获取重构区域的过程为:从热力图中检测最高得分局部极大值p,使用局部极大值搜索算法来避免重叠检测,设定局部极大值p的邻域为w,将(2w+1)×(2w+1)区域内所有以所选局部极大值p为中心的图像像素值置0,其余像素点不做改动,具体公式如下:其中, 表示热力图中位置(i,j)的像素值,位置(im,jm)表示所选局部极大值p的位置,(i,j)表示任意像素位置,|·|表示取绝对值;
被置0的像素点集合作为重构区域,并令热力图中被置0的重构区域对应的M=1,其他像素区域对应的M=0。
4.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法,其特征在于,采用原始图像对像素值为0的重构区域进行特征修复,具体过程为:设定两个像素阈值 γ1和γ2,其中γ1<γ2,遍历原始图像中的像素点,对像素值在[γ1,γ2]之外的像素点做变分处理,令需做变分处理的像素点xo及其周围邻域像素点矩阵为:则像素点xo的变分如下:
其中,we,wn,ww,ws分别表示像素点xe,xn,xw,xs的变分系数,对像素点xo的邻域像素点xe,xn,xw,xs及其变分系数we,wn,ww,ws取加权平均值得到修复处理后的像素点x′o:针对像素值在[γ1,γ2]之外的所有像素点做变分处理获得修复后像素点之后,连同像素值在[γ1,γ2]之内的所有像素点组成修复图像。
5.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法,其特征在于,采用小波变换去噪技术对原始图像进行去噪处理得到去噪图像。
6.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法,其特征在于,采用以下公式融合修复图像和去噪图像得到融合图像:其中,Iout表示融合图像, 表示修复图像中位置(i,j)处的像素值, 表示去噪图像中位置(i,j)处的像素值,当Mij表热力图中被置0的重构区域,则Mij=1,当Mij表热力图中其他像素区域,则Mij=0。
7.如权利要求1所述的基于类特征修复融合的图像取证对抗性攻击防御方法,其特征在于,针对每个目标类别,对候选分类区域得分score(p)由高到低进行排序,提取排序前10~15高的候选分类区域作为分类模型的输入,选择候选分类区域对应的最高分类概率作为最终分类模型的分类概率,实现对抗攻击的防御。