1.一种边缘引导的双链多尺度图像伪造区域检测方法,其特征在于,包括如下步骤:S1.构建规范化输入图像,将待检图像送入骨干网络提取多尺度特征,多尺度特征包括RGB链和边缘链两条线索链,边缘图像由RGB图像经直方图均衡化、二阶微分锐化和边界提取得到;
S2.构建RGB链提取RGB图像篡改伪影特征;
图像提取特征构建具体如下:
RGB链输入图像进行规范化调整作为网络的输入,输入尺寸规范化固定为C×H×W,W为图像像素宽度,H为图像像素高度,C为图像通道数;
边缘链的边缘图像由RGB图像经直方图均衡化、二阶微分锐化和边界提取取得,输入尺寸规范化固定为C×H×W,W为图像像素宽度,H为图像像素高度,C为图像通道数;
图像输入过程中两条线索链独立提取特征,不同尺度在保持分辨率相同的情况下,在四个尺度上分别获取多尺度特征;
S3.构建边缘链提取边缘图像篡改伪影特征;
边缘图像的构建如下:
,
,
,
,
,
公式中HE为直方图均衡化操作, 为锐化时采用的二阶微分算子, 表示图像坐标,L为边缘链中所使用的边缘提取算子, 和 分别为构成边缘提取算子L的水平提取算子和垂直提取算子, 为原始图像, 为直方图均衡化后的原始图像, 为锐化后的图像, 为边缘图像;
不同线索链的篡改伪影特征获取如下:
RGB链分为伪影提取和伪影增强两个阶段,伪影提取阶段使用滤波、提取、激活操作初步定位篡改伪影位置,伪影增强阶段采用双残差式链接结构增强篡改伪影特征,具体表示如下: ,其中 ,,
,
,
公式中 表示sigmoid函数, 表示BN层,表示伪影提取算子, 表示中值滤波,和 分别表 示伪影 提取阶 段的输 入和输 出,i 表示不 同尺度 的标号 ,分别为构成伪影提取算子G的六个分量;
边缘链分为跨尺度边缘融合和多分辨率优化两个阶段,跨尺度边缘融合采用邻近尺度融合的方式,多分辨率优化采用稠密连接层形成四个不同的分辨率特征,依次对不同分辨率提取深层次伪影痕迹,具体表示如下:公式中 表示3×3卷积, 表示ReLU激活函数,四个不同阶段下的 、、分别表示伪影增强阶段的输入、中间变量和输出,四个不同尺度下RGB链输出分别为;
边缘链的篡改伪影提取分别在骨干网络的四个不同尺度提取篡改伪影,输入为边缘图像 ,分为跨尺度边缘融合和多分辨率优化两个阶段;
跨尺度边缘融合阶段在四个不同尺度下的输入分别为 ,输出分别为,本阶段下除第一尺度为双卷积残差结构外,另外三个尺度都为上一尺度特征的叠加和,具体表示如下:, , , ,
公式中四个不同尺度下的 分别表示跨尺度边缘融合阶段的输入;
表示跨尺度边缘融合阶段的输出;
多分辨率优化阶段采用稠密连接层对每一尺度的特征图形成四个不同的分辨率特征,稠密连接层为四层全连接结构网络,融合时四个不同分辨率特征所使用的特征提取层各不相同,第一分辨率特征使用单卷积单激活,第二分辨率特征使用双卷积单激活,第三分辨率特征使用三层卷积单激活,卷积层间插入BN层增强稳定性,第四分辨率特征保持不变,具体表示如下:,其中
,
公式中i表示不同尺度的标号, 为单层的3×3大小卷积, 为两个级联的单层
3×3大小卷积, 为三个级联的单层3×3大小卷积,同时,每两层之间插入一个BN层,各尺度下的特征图 经过多分辨率优化后形成 四个边缘链篡改伪影特征;
S4.RGB链与边缘链邻接融合编码;
S5.进行多尺度推理预测和损失函数监督训练;
多尺度推理预测具体步骤如下:
不同尺度的融合伪影特征分别对应推理网络进行特征解码,得到预测结果,预测结果对应的推理判别器进行置信度评价;
推理判别器描述为:
,
;
其中, 表示输入为x,判别器参数为 的判别器置信度, 分别表示在第N个判别器下正样类和负样类的置信度;
推理网络由卷积提取单元、采样操作、连接操作、通道卷积调整单元和稠密连接层构成,推理流程如下:,
公式中 和 分别为不同尺度下推理网络的输出和输入; 为低级的融合特征图, , 表示第一尺度下推理网络的输入, 表示第一尺度下推理网络的输入所对应的低级推理网络的输入,FFN表示五层结构的稠密连接层,Sp、conv、分别表示采样操作、
3×3卷积和连接操作;
推理网络后级联推理判别器,提供推理结果置信度的评价数值,当一级推理判别器发现该级下的推理网络预测结果达不到判决阈值时,则将本级的伪影特征采样后融入更高一级的伪影特征中,再次进行推理网络的推理预测、推理判别器置信度评价两个过程,重复此过程,直到一个子网络产生可靠的预测,或使用最后一个子网络进行最终的推理,该过程描述为:,
,
公式中 和 分别表示推理网络所使用子网络的预测结果和判决阈值, 和 分别表示用于网络判断的最优子网络尺度级数和第N个判别器下正样类的置信度;
使用的损失函数为BCELoss,该损失函数具体如下:,
其中, 表示损失函数, 表示GroundTruth实况图像, 表示预测的伪造区域图,H表示图像的像素高度,W表示图像的像素宽度,m表示图像高度为m,n表示图像宽度为n。
2.根据权利要求1所述的一种边缘引导的双链多尺度图像伪造区域检测方法,其特征在于,RGB链与边缘链邻接融合编码具体步骤如下:将同尺度下的边缘伪影特征、RGB伪影特征与低一级的RGB伪影特征叠加融和,形成4个不同尺度的融合伪影特征,表示如下:
,其中 ,
,
公式中 为4个不同尺度的RGB伪影特征, 为4个不同尺度的边缘伪影特征, 为4个不同尺度的融合伪影特征, 为采样操作对特征维度进行调整, 的维度和尺寸与 保持一致。
3.一种边缘引导的双链多尺度图像伪造区域检测系统,其特征在于,执行如权利要求
1‑2中任一项所述的一种边缘引导的双链多尺度图像伪造区域检测方法,具体包括以下单元:构建规范化输入图像单元:用于构建规范化的RGB链和边缘链,分别在两条线索链中对RGB图像和边缘图像提取不同尺度下的多尺度特征;
RGB链的篡改伪影提取单元:用于将RGB链内不同阶段的尺度特征进行特征提取,每个阶段的尺度特征分为伪影提取和伪影增强两个阶段,伪影提取阶段初步定位篡改伪影位置,伪影增强阶段使用双残差式结构增强对篡改伪影的摄取;
边缘链的篡改伪影提取单元:用于将边缘链内不同阶段的尺度特征进行特征提取,每个阶段的尺度特征分为跨尺度边缘融合和多分辨率优化两个阶段;
RGB链与边缘链邻接融合编码单元:将同尺度下的边缘伪影特征、RGB伪影特征与低层级的RGB伪影特征融和;
多尺度推理预测单元:不同尺度的融合伪影特征分别有对应的推理网络进行特征解码,得到预测结果,预测结果对应的推理判别器进行置信度评价;
损失函数监督训练:满足判决阈值的推理网络预测结果与GroundTruth实况图像计算BCE损失,并使用BCELoss监督训练网络。