利索能及
我要发布
收藏
专利号: 2022105190030
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,包括:获取待检测的图像,输入到预先训练好的基于全分辨率混合注意力机制的图像篡改检测模型,输出篡改检测结果;

所述图像篡改检测模型的训练过程包括:

步骤S1,获取若干已标记篡改状况的图像作为训练集;

步骤S2,采用定步长滑动窗口的方法将训练集中的任意某个图像分割成若干个相同大小的互不重叠的局部特征分块;

步骤S3,将每个局部特征分块分别输入到分块特征提取模块中进行特征提取,得到浅层场景语义特征;

步骤S4,将各局部特征分块的浅层场景语义特征,分别输入到混合注意力模块进作重点区域语义特征的提取,得到细粒度、低分辨率的对象语义特征;

步骤S5,将各局部特征分块的低分辨率对象语义特征,输入到全分辨率保护调参网络模块,利用反卷积层对潜在篡改区域的纹理特征信息及边缘高频特征信息作逐层参数调整,逐步扩大图像分辨率至全分辨率水平,得到各局部特征分块的全分辨率对象语义特征;

步骤S6,将各局部特征分块的全分辨率对象语义特征输入到由最大、最小、平均、均方构成的组合池化特征聚合模块,进行全局特征聚合,得到本轮训练的预测值;

步骤S7,将本轮训练的预测值输入到预先构建的图像篡改检测模型的损失函数中,计算图像篡改检测模型训练的损失;

步骤S8,若所述损失不低于预先设置的损失阈值,在分块特征提取模块、混合注意力模块、全分辨率保护调参网络模块和组合池化特征聚合模块中设置若干反馈消融点;采用基于反馈消融点的反向传播策略进行逐模块的反向传播,计算各模块每一个反馈消融点的梯度,并沿着梯度下降的方向更新各模块参数,得到更新参数后的图像篡改检测模型;所述基于反馈消融点的反向传播策略为:后向传递以反馈消融点为基准,从一个反馈消融点开始到其下一个反馈消融点称为一组,后向传递时,按组为单位进行反向传播,每计算一组反馈时,仅从上一个反馈消融点开始激活计算,计算过的激活点在使用后立即删除该激活点中除输入变量、输出变量以外的所有中间变量;

步骤S9,从训练集中重新选择图像对更新参数后的图像篡改检测模型进行训练,直到训练集中所有图像计算的损失均低于预先设置的损失阈值,得到训练好的图像篡改检测模型。

2.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,所述分块特征提取模块采用Xception模型。

3.根据权利要求2所述的基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,所述Xception模型的输入层添加图像噪声图和高通图像残差。

4.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,所述混合注意力模块包括第一通道注意力机制模块、空间注意力机制模块和第二通道注意力机制模块;

所述步骤S4,包括:

S41,将所述浅层场景语义特征输入到第一通道注意力机制模块中,利用第一通道注意力机制模块中的平均池化和最大池化,分别对浅层场景语义特征进行池化操作,将池化操作生成的两种空间上下文信息向前传播到共享网络,产生通道注意力特征信息;

S42,将所述通道注意力特征信息输入到空间注意力机制模块中,利用空间注意力机制模块中的平均池化和最大池化操作,生成特征Favg‑p和Fmax‑p被融合并输入卷积层得到空间位置特征信息,Favg‑p和Fmax‑p分别表示平均池化和最大池化的特征;

S43,将S42所得空间位置特征信息输入到第二通道注意力机制模块中,提取为细粒度、低分辨率的对象语义特征。

5.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,所述局部特征分块的全分辨率对象语义特征的获取过程包括:S51,将局部特征分块的低分辨率对象语义特征映射为输入矩阵;

S52,对该输入矩阵进行反卷积操作,得到语义特征图对应的潜在篡改区域;

S53,在该潜在篡改区域的边缘上,根据公式(3)确定像素点的优先权,选取优先权最高的像素点,作为中心构造特定大小的像素块;

P(x)=C(x)D(x)            (3)

在公式 (3) 中, C(x)为显著性水平,表示样本块中包含的已知像素点的多少,𝐷 (x)为数据项,表示结构信息量;

S54,在输入矩阵中寻找与该像素块的特征最相似的样本块,并采用均值填充法恢复该像素块的高频特征信息;

S55,更新已恢复高频特征信息的像素块中的像素点置信度,从而更新该像素块的显著性水平,降低该像素块在下一次计算中的优先权;

S56,重复S53‑S55,直到该分块中的所有像素点都被填充恢复完毕。

6.根据权利要求5所述的基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,所述𝐶 (x) 和𝐷 (x) 的计算公式如(4)、(5)所示:   (4)

       (5)

其中,|Ψx|表示样本块中像素点数,Ψx表示以像素点x为中心构造的像素块;q是Ψx中的某一具体像素点,Φ表示潜在篡改区域;C(q)表示该像素点q的显著性水平,当q属于Φ⊥时,C(q)取值为1,否则取值为0;nq是修复边缘上的某一像素点的法向量,▽Iq 为样本块中某一像素点q梯度方向的垂直方向,α是用来调整结构信息量大小的归一化因子。

7.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,所述步骤S6,包括:S61,将所述各局部特征分块的全分辨率对象语义特征输入到组合池化特征聚合模块;

S62,按照分量类型选择对特征的操作,当判别信息分布在全局图像时,采取平均或均方池化操作得到本轮训练的预测值;当判别信息集中于局部区域时,采取最小或最大池化操作得到本轮训练的预测值;最大、最小、平均和平方的平均值四种池化操作的公式如下:在式(6)‑(9)中,其中Fi=[F1,…, FC]是从第i个图像分块中提取的 C 分量特征,C表示划分特征矩阵时选择的有效维数,Np是分块的数量。

8.根据权利要求1所述的基于全分辨率混合注意力机制的图像篡改检测方法,其特征在于,所述步骤S7,包括:S71,在训练篡改检测任务时,图像篡改检测模型的损失函数Ldec包含拼接损失Lsplice和复制‑移动损失Lcopy‑move,如式(12)所示:Ldec=β(Lsplice+ Lcopy‑move)   (12)在式(12)中,β表示权重参数;

S72,构造分位余弦损失函数应用于图像篡改检测任务损失计算中,如式(13)、式(14)所示;

Lsplice=γ 1 Lquant+δ 1 log(1+ Lcos)      (13)Lcopy‑move=γ 2 Lquant+δ 2 log(1+ Lcos)     (14)其中,分位损失函数Lquant为主损失函数,权重参数γ1=γ2,余弦相似度损失函数Lcos为辅损失函数,权值参数δ1=δ2;

S73,计算分位损失函数Lquant的值,如式(15)所示,

(15)

在式(15)中,ylabel表示真实概率分布,ypred表示本轮训练的预测值,r表示分位系数,Np表示分块的数量,i表示当前图像分块的标号,式(15)表示当ypred≥ylabel时,选择(1‑r)| ylabel‑ypred|用于计算损失;当ypred<ylabel时,选择r| ylabel‑ypred|用于计算损失;Lquant用于体现真实概率分布ylabel和本轮训练的预测值ypred之间的差异程度;

S74,计算余弦相似度损失函数 的值,如式(16)所示,

  (16)

在公式(16)中,||·||2表示 L2 范式,Lcos用于优化训练处理输出向量方向,使得本轮训练的预测值ypred和真实概率分布ylabel输出向量夹角的大小为0。