1.基于局部伪造区域检测的人脸伪造检测方法,其特征在于,包括以下步骤:S1:数据处理;
S11:从视频数据中提取每个视频的10帧,并将其转换为图像数据集;
S12:对图像中的潜在伪造区域进行标注;
S13:将图像的真伪属性、图像位置信息以及伪造区域的掩码信息存储在JSON文件中,以便后续训练模型时使用;
S14:对图像进行数据处理,采用JPEG压缩、随机裁剪,以增加数据集的丰富性,提高模型的泛化能力;
S2:训练流程;
S21:将图片输入到特征提取模块进行特征提取;使用普通卷积捕捉图像中的空间特征,使用深度可分离卷积捕捉图像中的高频特征 ;
S22:使用公式对这空间特征和高频特征进行交互操作;
所述S22中公式如下:
(3)
(4)
其中: 和 表示输入通道数和输出通道数;
为超参数,调节输入通道和输出通道之间的比例关系;
表示高频特征进行的一组卷积运算;
表示空间特征进行的一组卷积运算;
S23:将交互完成的两类特征重新融合为一个特征,并将不同的输入通道合并为相同的输出通道,并生成最终的输出特征 ;
所述输出特征 的实现公式如下:(5)
其中: 为高频特征更新后与空间特征相加后的结果;
空间特征更新后与高频特征相加后的结果;
S3:图像检测;
S31:从特征提取模块中提取的特征图作为输入,输入至锚点检测器,使用锚点检测图像上的局部伪造区域,并使用Smooth L1损失函数来指导其进行训练,以便于模型更加关注伪造区域;
S32:将从锚点分类器输出的特征图与从特征提取模块提取的特征图执行相加操作,并变成 大小的特征,其中,N 代表批次大小,C 代表输入通道数,送入最后的全连接层进行分类,预测图像是真实图像还是伪造图像;
所述S32的具体步骤为:
使用一个分类损失函数 来衡量最终的预测结果,设计一个总的损失函数用于加权定位伪造函数 和分类损失函数,公式如下:(9)。
2.根据权利要求1所述的基于局部伪造区域检测的人脸伪造检测方法,其特征在于:所述S12的具体步骤为:采用基于结构差异的方法来确定最可能存在伪造区域的位置,包括计算源图像 和目标图像 之间的结构差异,使用以下公式表示随机区域的位置:(1)
其中: 表示结构差异;
和 表示随机区域的高度和宽度;
和 表示随机区域的上位置和左位置;
其中:argmax函数表示后面的式子达到最大值时的变量 及 的取值;
i和j分别表示公式取值范围从x至x+h和y至y+w.
表示公式取值范围从 至 ;
表示公式取值范围从 至 ;
通过选定的随机区域计算得到一个掩码M,再利用alpha混合源图像和目标图像,得到一个具有伪造区域位置标注的伪造图像,公式如下:(2)。
3.根据权利要求2所述的基于局部伪造区域检测的人脸伪造检测方法,其特征在于:所述S21中,对Xception网络进行修改,以实现更好地对图像进行特征提取,采用一种卷积方法来替换Xception网络中的普通卷积,进一步增强特征表示和捕捉局部伪造特征;
深度可分离卷积是将传统卷积操作分为两个步骤:深度卷积和驻点卷积。
4.根据权利要求3所述的基于局部伪造区域检测的人脸伪造检测方法,其特征在于:所述S31的具体步骤为:用来表示预测伪造区域和实际伪造区域的差异,损失函数定义如下:(6)
一旦确定锚点位置之后,将其输入锚点分类器中,用于判断每个锚点是真实还是伪造,使用交叉熵损失函数来指导其进行训练,其公式为:(7);
其中: 是二元标签0或1, 表示锚点的数量;
是输出属于y标签的概率;
表示交叉熵损失函数;
使用定位损失函数 来指导模型更加关注于局部伪造区域,其定义如下:(8)
其中: 表示锚点的数量;
为一个正权重,初始时将其设置为1。
5.根据权利要求1所述的基于局部伪造区域检测的人脸伪造检测方法,其特征在于:所述图像数据集为FF++数据集。