1.一种基于多尺度交互和跨特征对比学习的图像篡改检测方法,其特征在于,包括以下步骤:S1.构建输入图像,将待定位图像输入到骨干网络中提取特征,骨干网络为swintransformer:原始图像同时随机添加图像抖动,作为主干网络的输入,将不同尺度大小的图像与特征提取的网络权重共享,放入骨干网络,在四个阶段分别提取图像特征,其中每个阶段在三个输入的情况下产生三个大中小的特征;
S2.多尺度特征交互得到多阶段特征:
将每个阶段的三个特征进行多尺度特征交互,大特征进行下采样,小特征进行上采样得到同样的大小,通过多尺度权重约束相加得到最终的特征;
S3.跨特征对比学习:
将GroundTruth中不和谐区域的像素设为正例,将背景像素设为负例,同时将GroundTruth通过最近邻方法下采样到每个特征大小进行正负的特征向量的选择,根据正样本的数量对负样本进行随机采样,将采样得到的特征向量进行对比学习损失约束,同时将多阶段的特征进行正负样本的混合进行对比学习损失约束;
4)特征收缩融合解码:
将相邻特征两两融合,通过特征的收缩注意来完成特征的融合;
5)多损失函数联合训练:
最后解码得到最终的预测图像与GroundTruth做像素级的损失监督,与对比学习联合训练优化网络。
2.根据权利要求1所述的基于多尺度交互和跨特征对比学习的图像篡改检测方法,其特征在于:图像提取特征构建具体如下:将图像通过尺寸调整,随机翻转,随机旋转,对比度调整后,作为网络的输入,输入尺寸分别为H×W,W为图片宽度,H为图片高度,单位是像素,在输入过程中,为了寻找尺度间的差异,将输入图像乘以0.5得到低分辨率图像,同时将输入图像乘以1.5得到高分辨率图像,这三种不同分辨率、不同尺度的图像共同输入到骨干网络中来提取不同阶段的特征,同时共享参数,最后在四个提取阶段都会产生三个尺度不一的特征。
3.根据权利要求1所述的基于多尺度交互和跨特征对比学习的图像篡改检测方法,其特征在于,所述多尺度特征交互具体步骤如下:将每一阶段的三个特征做同样的操作,其中将1.5x图像的特征分别通过平均池化以及最大池化相加的方式进行下采样到输入图像特征的大小,同时将0.5x图像的特征通过双线性插值的方式进行上采样到输入图像特征的大小,接下来将特征进行拼接,两层卷积并通过softmax函数来自动学习获得每个尺度特征的权重,加权求和得到三个尺度融合后的特征。
4.根据权利要求1所述的基于多尺度交互和跨特征对比学习的图像篡改检测方法,其特征在于,所述跨特征对比学习具体如下:将GroundTruth通过最近邻方法下采样到每个特征相同的大小;通过映射的方式使用GroundTruth找到特征图上不和谐伪造像素和背景像素的特征向量,接下来对每个批次中每个图像中两个类别进行随机采样;设5为阈值,当特征向量的个数小于5的时候,此图像的类别进行舍弃,大于5的时候,随机采样,选取5个相关特征向量,将这个batch里所有的和谐像素特征向量和背景像素特征向量进行同类别的组合,最终根据4个特征得到四个特征集A1,A2,A3,A4,在每个特征集中实现跨图像的对比学习,对比损失如下:其中
zi和zj表示特征里的基于像素特征向量,τ为固定温度系数,P(i)为属于不和谐区域像素,N(i)为属于背景区域像素,接下来将A1和A4以及A1和A3分别进行跨尺度对比学习。
5.根据权利要求1所述的基于多尺度交互和跨特征对比学习的图像篡改检测方法,其特征在于,特征收缩融合解码器具体如下:四个特征F1,F2,F3,F4中,我们通过F1与F2,F2与F3,F3与F4两两收缩融合,一直持续融合到为一个特征最后通过卷积上采样输出最终结果。
6.根据权利要求1所述的基于多尺度交互和跨特征对比学习的图像篡改检测方法,基于多尺度交互和跨特征对比学习网络的目标函数构建具体如下:由于在不和谐化定位中,样本不平衡,和谐区域小于非和谐区域,由此像素监督损失由dice以及focal组成,将像素分割损失以及对比损失进行组合,由此总损失函数定位如下:其中G表示GroundTruth, 表示每一阶段的预测图像,pt表示像素预测的概率值,λ表示自定义参数,λs设为1,λc设为0.3,∪表示并集,Lc为对比损失。