1.一种基于多尺度特征智能感知的社交网络图像篡改定位方法;其特征在于,该方法具体包含以下步骤:步骤1对篡改图像预处理,采用Imagenet对图像预训练,同时在篡改数据集中采用图像增强方法增强篡改区域的识别,将图像以及GroundTruth双线性插值成512×512大小的尺寸作为输入,提取边缘Groundtrhth图像;
步骤2将resnet50深度神经网络作为特征提取器,利用由sobel算子引导提取边缘特征然后采用多尺度边缘导向的注意力机制,在边缘伪影不一致的基础上挖掘篡改的粗略定位信息;
步骤3构建多尺度上下文感知融合模块,利用此模块在不同的由边缘监督的尺度上进行局部和全局的搜寻,突出篡改和非篡改之间的差异;
步骤4进行篡改信息的融合,输出的特征图通过样本不平衡损失来实现篡改区域的定位。
2.根据权利要求1所述的基于多尺度特征智能感知的社交网络图像篡改定位方法;其特征在于,所述多尺度边缘导向的注意力机制包括两个部分,边缘提取和边缘融合,具体步骤如下:
2‑1)resnet各自不同残差块的特征通过sobel层进行增强后,得到相关的边缘特征,并通过3×3卷积将通道统一为256,再经过1×1卷积和Sigmoid后得到生成的边缘预测图ei,并与通过GroundTruth生成的mask进行监督,其中每一尺度ri特征操作如下:
2‑2)求取最终融合边缘能力的特征;将有着边缘监督感知的特征拼接后,通过1×1卷积得到B1,主体特征分别通过1×1卷积得到A1和A2,使用一个边缘感知注意力的方式来增强特征主体的边缘,聚合边缘方面的上下文信息,其中公式如下所示:其中F是边界篡改感知的注意力图,B1i表示B1的第i个位置,T表示转置,N表示所有的像素;主体特征上每个位置j都受到边缘特征位置i的影响,确保更正确的定位篡改的区域;
2‑3)将此注意力图F乘到原来的特征通过另外1×1卷积得到的特征A2,改变形状然后与主体特征进行相加,得到最终融合边缘能力粗略定位篡改区域的特征。
3.根据权利要求1所述的基于多尺度特征智能感知的社交网络图像篡改定位方法;其特征在于,所述多尺度上下文感知融合模块,包含上下文感知与融合过程,具体如下:
3‑1)上下文感知具体由四个多尺度探索分支组合而成,上下文感知需要在每级特征上进行操作,每个分支都首先包含了一个3×3卷积得到ri′
3‑2)采取用于局部特征提取的3个卷积进行卷积,分别是非对称卷积1×ki,ki×1和对称卷积ki×ki,再将特征进行相加来增强非语义信息的提取能力,表示如下:ki表示第i个分支的卷积核大小,Relu表示非线性操作,BN表示批次正则化处理,最终输出第i层的特征si;
3‑3)最后通过空洞率ri的3×3卷积进行输出,将ki的i∈{1,2,3,4}设置为1,3,5,7,在空洞率上ri的i属于{1,2,3,4}四个分支设置为{1,2,4,8},每个卷积过后经过批处理归一化层和relu线性操作,得到局部和全局的特征;
3‑4)将每一分支出来的特征与下一分支的相加寻找全局特征,得到的4个分支特征{s1,s2,s3,s4}通过拼接得到经过局部和全局搜寻后的特征,表示如下:
3‑5)将多尺度边缘导向特征通过残差学习将并没有注意到的多尺度细节特征进行添加,逐步细化特征输出,得到最终预测图。
4.根据权利要求3所述的基于多尺度特征智能感知的社交网络图像篡改定位方法;其特征在于,所述步骤3‑5具体步骤如下:
3‑5‑1)从最深处多尺度边缘导向的粗糙特征开始,将多尺度中已经预测好的粗篡改区域删除,然后引导网络依次发现不同尺度上补充的目标区域和细节,进行相加,第i个补充分支的反向注意权重Ai是通过减去i+1分支的上采样预测图获得,具体表示如下:
3‑5‑2)将反向注意权重和分支上充分搜寻的特征进行相乘的操作,在浅层特征中将粗预测图上篡改显著注意的区域进行移除,再将上一级分支的特征加回到粗特征上;
3‑5‑3)使用残差学习来弥补预测的篡改图和地面真实之间的误差,
具体来说,对每一个补充分支进行上采样得到原图大小,然后进行深度监督来学习残差特征,其中深度监督可表示为:式中:G为GroundTruth。
5.根据权利要求1所述的基于多尺度特征智能感知的社交网络图像篡改定位方法;其特征在于,所述多尺度边缘导向的注意力机制和多尺度上下文感知融合模块,都通过如下损失函数约束,通过最小化损失函数,从而确定最优的网络参数;
式中:λ1为0.2,λ2为0.8, 为预测图,pt是篡改像素预测的概率,e为边缘的GroundTruth,为边缘的与预测图。