1.一种基于自相关特征金字塔网络的图像复制‑粘贴篡改检测方法,其特征在于:
通过构建自相关特征金字塔网络获取丰富的特征空间分布信息,联合全局特征和局部特征得到更为准确的匹配结果,其主要包含三个部分:特征提取,自相关特征金字塔,生成篡改区域掩码;
特征提取部分中,采用卷积神经网络的前四层从原始输入图像中抽取特征,网络通过对抽取的特征不断进行提取和压缩,最终得到比较高层次更可靠的全局特征,而较低层次的特征则包含更多的局部空间信息,这些不同层次的特征用于后续构建自相关特征金字塔任务中;
自相关特征金字塔部分中,将卷积神经网络提取的图像特征转化为不同图像块之间的相关性表示,构建一个基于卷积神经网络的自相关特征金字塔,金字塔层次从低阶到高阶分别对应维度从大到小的自相关特征,不同层次的金字塔包含了不同的语义信息;
自相关特征金字塔部分的具体过程为:
对于n层的自相关特征金字塔Pn,假设fk表示特征提取网络第k(k=0,…,n‑1)层生成的特征张量,其尺寸大小为wk×hk×dk(wk,hk,dk∈N*),该特征张量也可视为wk×hk个块状特征,即 其中每个fk[ir,ic]具有dk个维度;对于整个特征提取网络,总共产生了n个不同尺度的特征张量,即Fk={f1,…,fn};
对于第k层特征张量fk,给定两个块状特征fk[i](i=(ir,ic))和fk[j](j=(jr,jc)),通过余弦相似度来量化两个特征的相关性,计算公式如下:其中 是fk[i]归一化的结果,μk[i]是fk[i]的均值,σk[i]是fk[i]的标准差;对于fk中给定的fk[i],在mk(mk=wk×hk)个fk[j]上重复上述计算过程,形成一个自相关向量sk[i]=[cos(θi,0),…,cos(θi,j),…,cos(θi,m‑1)],并对该自相关向量进行降序排列后,得到s′k[i]=sort(sk[i]);
最终,第k层特征张量fk经过特征计算形成一个大小为wk×hk×mk的相似度矩阵s′k;将相似度矩阵中所有元素的分量按照降序排列,越靠前的分量表明像素点之间的相关性越高,被篡改的可能性越大;
将第k层自相关特征金字塔的权重设置为 则n层的自相关特征金字塔Pn表示为:
通过对特征进行解码以恢复到原始分辨率,以生成与原始图像大小一致的篡改区域掩码,解码模块采用卷积+上采样的方式实现图像尺寸复原;
卷积分支通过对解码模块输入的特征图进行卷积操作,卷积结束后将卷积分支产生的多个特征图采用向量拼接的方式进行合并,然后将卷积操作合并得到的特征图进行上采样,最终产生输出特征图;
所述上采样采用双线性插值的方式进行。