1.一种多层次多尺度特征交互的图像伪造区域识别方法,其特征在于,包括以下步骤:步骤一、构建规范化输入图像,将待检图像输入到骨干网络中提取不同尺度下的多尺度特征:步骤二、多尺度特征递进式提取多层次特征融合得到显著性特征:
将不同阶段的尺度特征进行递进式多层次特征提取,每个阶段的尺度特征分别在三个不同层次上进行递进式特征提取,递进式多层次特征通过递进式卷积层来实现,得到的多层次特征在激活后被重新采样,分别在各个阶段融合形成显著性特征,递进式多层次特征提取所使用的递进式卷积层主要使用池化‑卷积堆叠层、批量规范化层和激活层构成,每个阶段分别由三组递进式卷积层提取层次特征,并且这三组递进式卷积层所包含的卷积堆叠层数量呈递进式增加,并通过下采样和上采样操作保证每个递进式多层次特征图尺寸相同,融合递进式多层次特征得到伪造区域的显著性特征;
步骤三、双重激活合并通道优化编码:
将融合所得的显著性特征使用不同的激活函数连续重复激活两次,然后序列化地经过通道优化模块在图像通道维度上产生通道特征,通道特征与显著性特征做点积进行伪造区域识别的嵌合特征修正,通过修正的显著性特征作为数字伪造区域的特征编码;
通道优化模块为三分支结构,每条分支结构类似,都包含维度变换连接、优化权重生成、维度恢复三个步骤,其中第一步骤中的维度变换与第三步骤中的维度恢复互为逆操作,三条分支区别在于维度变换时所选取的通道维度不同,第一条分支选取第0维度与第1维度,第二条分支选取第1维度与第2维度,第一条分支选取第2维度与第0维度,最后等比例整合三条分支的输出;
通道优化模块的三个步骤,第一步骤,维度变换连接:将修正后的显著特征第0维度与第1维度对调,分别使用最大池化和平均池化做特征提取,然后连接;第二步骤,优化权重生成:对步骤一的输出进行卷积然后使用sigmoid生成优化权重;第三步骤,维度恢复:将步骤二获取的优化权重加权到修正的显著性特征上,先过BN层后使用与步骤一互逆的维度变换恢复原有尺寸;最后三条分支等比例整合;
步骤四、特征压缩聚合解码:
将特征编码采样矫正后分别进行卷积压缩和聚合,同时应用上采样方法和下采样方法保持特征张量尺寸一致,对压缩聚合后的特征使用全连接网络进行通道数的调整,最后联合上采样和卷积完成特征编码的解码;
步骤五、损失函数监督训练:
解码后的识别区域与GroundTruth实况图像做像素级的监督,并使用像素级的Dice损失函数训练网络。
2.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法,其特征在于,图像提取特征构建具体如下:输入图像数据增强后进行规范化调整,作为网络的输入,输入尺寸规范化固定为C×H×W,W为图像像素宽度,H为图像像素高度,C为图像通道数;
图像输入过程中应用数字化滤波进行去噪,在保持分辨率的情况下,图像输入特征提取骨干网络同时共享参数,在四个阶段上分别获取不同尺度的多尺度特征。
3.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法,其特征在于,递进式卷积层定义如下:,
公式中PCONVi(X)表示递进式卷积层,X表示递进式卷积层输入的由主干网络各阶段提取到的特征图,i表示递进式卷积层的层级标号,表示sigmiod函数,Ni表示递进式卷积层中卷积层的数目, 表示核大小为3×3的单个卷积层,P表示池化操作。
4.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法,其特征在于,双重激活合并通道优化编码具体步骤如下:将获得的显著性特征分别使用不同的激活函数连续重复激活两次,分别经过通道优化模块产生通道特征张量;通道特征张量与显著性特征张量做乘积获得显著性特征编码;
连续激活时首次激活选用ReLU函数:ReLU(x)=x,when x > 0,二次激活使用修饰后的双曲正切函数: ;
通道优化模块为三分支结构,每条分支结构类似,都包含维度变换连接、优化权重生成、维度恢复三个步骤,其中第一步骤中的维度变换与第三步骤中的维度恢复互为逆操作,三条分支区别在于维度变换时所选取的通道维度不同,最后整合三条分支的输出作为通道优化模块的输出;
通道优化模块定义如下:
,
,
;
公式中MP表示最大池化,AP表示平均池化,i表示分支标号,表示sigmiod函数,©表示连接操作,conv表示3×3的卷积核,BN表示BN层; 表示不同分支的维度转换; 表示不同分支对应的维度逆转换; , 分别为各分支的优化权重和各分支的输出结果;具体变现为:显著性特征的三条分支优化权重分别为 , , ,三条分支输出分别为,,
,
, 分别表示通道优化模块的输出和输入,具体表现为:在第一、第二、第三、第四尺度上的输入分别为S1,S2,S3,S4,输出分别为T1,T2,T3,T4。
5.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法,其特征在于,特征压缩聚合解码具体步骤如下:显著性特征编码使用上采样和下采样操作调整尺寸大小,同时对低级特征求和,对高级特征做乘积,形成低级语义特征和高级语义特征,连接语义特征同时使用卷积进一步压缩语义聚合特征,最后调整通道数目并使用上采样进行解码,解码后输出预测图像,特征压缩聚合解码器定义如下:,
公式中predict表示模型方法最终得到的预测图,U和D分别表示上采样操作和下采样操作, 表示通道数调整,表示连接操作, 表示3×3的卷积算子,S1′,S2′,S3′,S4′为四个不同尺度下的显著性特征编码。
6.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法,其特征在于,所使用的目标函数为提取损失函数,该损失函数具体如下:在识别数字伪造区域时,在像素级上使用受样本影响小,抵抗伪造区域不均衡性较好的Dice损失作为提取损失函数,其函数定义如下:,
其中, 表示像素级提取损失函数, 表示伪造图像的GroundTruth实况图像,表示模型方法检测得到的伪造识别区域,i和j表示图像的像素,H为像素高度,W为像素宽度。
7.一种多层次多尺度特征交互的图像伪造区域识别系统,其特征在于,执行如权利要求1‑6中任一项所述的多层次多尺度特征交互的图像伪造区域识别方法,包括以下步骤:特征提出模块:用于将待检图像输入到骨干网络中提取不同尺度下的多尺度特征:多尺度特征递进式提取多层次特征融合模块:用于将不同阶段的尺度特征进行递进式多层次特征提取,每个阶段的尺度特征分别在三个不同层次上进行递进式特征提取,并通过下采样和上采样操作保证每个递进式多层次特征图尺寸相同,融合递进式多层次特征得到伪造区域的显著性特征;
双重激活合并通道优化编码模块:用于将融合所得的显著性特征使用不同的激活函数连续重复激活两次,然后序列化地在图像通道维度上产生通道特征,通道特征与显著性特征做点积进行伪造区域识别的嵌合特征修正,通过修正的显著性特征作为数字伪造区域的特征编码;
特征压缩聚合解码模块:用于将特征编码采样矫正后分别进行卷积压缩和聚合,同时应用上采样方法和下采样方法保持特征张量尺寸一致,对压缩聚合后的特征使用全连接网络进行通道数的调整,最后联合上采样和卷积完成特征编码的解码;
提取损失函数监督训练模块:解码后的识别区域与GroundTruth实况图像做像素级的监督提取,并使用像素级的Dice损失函数训练网络。