1.一种基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于,包括如下步骤:
a)将RGB图像I从空域图像转换到频率域数据,将转换的频域数据与RGB图像组成成对的空频数据作为神经网络的输入,使用参数不共享的两个骨架网络分别提取RGB图像和频率域数据的多层次特征;
b)将RGB域多层次特征和频率域数据的多层次特征进行特征融合;
c)对融合后的特征进行篡改区域定位和篡改边界定位;
d)利用复合损失函数约束网络优化训练篡改区域定位和篡改边界定位。
2.根据权利要求1所述的基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于,步骤a)包括如下步骤:
3×H×W
a‑1)将RGB图像I,I∈R 转换到YCbCr颜色空间,通道数为3,H为图RGB图像I的长度,W为图RGB图像I的宽度,对转换后的YCbCr颜色空间的Y、Cb、Cr三个分量分别进行P×P大小的切块,P≥1且,并对每个切块进行离散余弦变换,得到P×P个频率系数;
a‑2)根据Y、Cb、Cr三个分量的每个分量,根据位置关系将相同频率的频域系数放置在同一通道中,第k个通道频率表示为 k∈{1,2,...,K},K为通道的总数量,K=3×P×P;
a‑3) 为每个频率dk减去所有空间位置上频率系数的均值后再除以所有空间位置上频率系数的标准差得到的归一化频道矩阵,将K个归一化频道矩阵沿通道方向组合成一个三维张量
a‑4)通过公式 计算 的潜力系数α,α={α1,α2,...αK},αk∈[0,1],k∈{1,2,...,K},式中δ为ReLU函数,β为BN函数,σ为Sigmoid函数,Conv2与Conv1均为卷积计算,Conv1核大小为K/r×K×1×1,Conv2核大小为K×K/r×
1×1,r为超参数,K≥r≥1;
a‑5)使用频率自适应调质模块,其由自适应频率选择模块和频率调制模块构成,通过公式 k∈[1,K]计算自适应频率选择模块计算后的加权频道矩阵 αk为第k个通道的潜力系数,通过 建立频率自适应模块的三维张量的输出 利用公式
计算频率自适应模块中的频率调制模
块的输出Ofam,Conv4与Conv4均为卷积计算,Conv3为3×3的组卷积,其组数等于 的通道数,Conv4核大小为C×K×1×1,C的值为频率数据需要嵌入的backbone的首层卷积的输入通道数,C≥1,
a‑6)使用删除Conv1‑x的Resnet101网络作为频率域数据的骨架网络提取多层次特征,得到Resnet101网络中Conv2‑x层的输出f2、Resnet101网络中Conv3‑x层的输出f3、Resnet101网络中Conv4‑x层的输出f4及Resnet101网络中Conv5‑x层的输出f5,将原始的RGB图像I输入至Resnet101网络提取多层次特征,得到Resnet101网络中Conv2‑x层的输出r2、Resnet101网络中Conv3‑x层的输出r3、Resnet101网络中Conv4‑x层的输出r4及Resnet101网络中Conv5‑x层的输出r5。
3.根据权利要求1所述的基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于:步骤a)中的骨架网络为Resnet101骨架网络。
4.根据权利要求2所述的基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于:P取值为8,K取值为192,r的取值为8,C的取值为64。
5.根据权利要求2所述的基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于:步骤b)中通过公式 计算得到融合特征my,y∈[2,3,4,5],为RGB图像的每个像素点的通道数映射为1后得到的第y层频域特征的空间权重矩阵,为频率域数据的每个像素点的通道数映射为1后得到的第y层频域特征的空间权重矩阵。
6.根据权利要求5所述的基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于,步骤c)包括如下步骤:
c‑1)将融合特征m5与融合特征m2输入到deeplabv3+架构中的decoder网络,通过decoder网络进行卷积、上采样、sigmod函数变换操作,生成与原始RGB图像尺寸相同的区域预测矩阵,区域预测矩阵中的每个值的范围为0‑1,矩阵中的每个值对应原始RGB图像中相同位置的像素,每个值为RGB图像中该像素是篡改像素的概率,完成建立篡改区域定位;
c‑2)原始的RGB图像I输入至Resnet101网络提取得到Resnet101网络中Conv1‑x层的输出r1,将r1上采样到原始RGB图像尺寸作为初始边界特征b1,将初始边界特征b1送入到卷积层卷积处理,将m2和b1按照通道维度拼接起来,通过1个1×1的卷积操作学习一个非线性映射,将每个像素点的通道数映射为1,生成一个与b1相同尺寸的空间权重矩阵,将该空间权重矩阵和b1做逐元素点乘,其结果与b1求和生成边界特征b2,将b2送入到另一卷积层卷积处理,将m3和b2按照通道维度拼接起来,通过1个1×1的卷积操作学习一个非线性映射,将每个像素点的通道数映射为1,生成一个与b2相同尺寸的空间权重矩阵,将该空间权重矩阵和b2做逐元素点乘,其结果与b2求和生成边界特征b3,将b3送入到另一卷积层卷积处理,将m4和b3按照通道维度拼接起来,通过1个1×1的卷积操作学习一个非线性映射,将每个像素点的通道数映射为1,生成一个与b3相同尺寸的空间权重矩阵,将该空间权重矩阵和b3做逐元素点乘,其结果与b3求和生成边界特征b4,将b4送入到另一卷积层卷积处理,将m5和b4按照通道维度拼接起来,通过1个1×1的卷积操作学习一个非线性映射,将每个像素点的通道数映射为
1,生成一个与b4相同尺寸的空间权重矩阵,将该空间权重矩阵和b4做逐元素点乘,其结果与b4求和生成边界特征b5,将b5映射为边界预测矩阵,该映射使用1×1的卷积和sigmod函数,边界预测矩阵中的每个值的范围为0‑1,矩阵中的每个值对应原始RGB图像中相同位置的像素,每个值为RGB图像中该像素是篡改像素的概率,完成建立篡改边界定位。
7.根据权利要求6所述的基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于:步骤d)中通过公式L=λ1·Lregion+λ2·Lboundary+λ3·Laware计算总损失函数L,式中λ1、λ2、λ3均为超参数 ,λ1=1,λ2=1 ,λ3=20,Laware为边界感知损失,式中i为索引标识,
为边界标签矩阵中的像素点标签,当像素为篡改边界时, 取值为1,当像素不为篡改边界时, 取值为0, 为区域标签,当像素为篡改区域时, 取值为1,当像素不为篡改区域时, 取值为0,pi为区域预测矩阵中该像素点发生篡改的概率,ui为边界预测矩阵中该像素点为篡改边界的概率, 为权重系数。
8.根据权利要求7所述的基于双流边界感知神经网络的图像篡改区域定位方法,其特征在于: 取值为0.8, 取值为0.2, 取值为0.9, 取值为0.1。