1.一种基于双层孪生网络和可持续学习的人脸伪造检测方法,其特征在于,包括如下步骤:S1,对获取数量庞大的人脸伪造图像进行预处理操作,并且根据不同的伪造技术,将图像数据集划分为不同的任务数据集,并整合所有的任务数据集形成一个完整的人脸伪造图像数据集;
S2,以人脸伪造图像数据集为训练集,基于持续学习策略,训练预先构建好的双层孪生网络,得到基于双层孪生网络和可持续学习的人脸伪造检测模型;
S3,采用人脸伪造检测模型对待检测的人脸图像进行检测,预测图像中每一个像素点的伪造概率;若伪造概率大于阈值,判断该像素点是伪造的,最终得出待测图像对应的预测伪造结果图像和伪造位置;
步骤S2中,所述双层孪生网络主要包括三个部分:用于快速学习的有监督子网络、用于慢速学习的无监督子网络和记忆模块;
其中,无监督子网络通过无监督学习的方式充分学习人脸伪造的篡改痕迹特征,并将学习到的每一层特征通过特征融合的方式融合到有监督子网络来指导其学习,并利用当前的有监督子网络检测结果来计算自监督损失,同时更新无监督子网络的权重参数;
有监督子网络在有监督学习下利用三种损失来共同进行训练,三种损失包括:无监督子网络的无监督检测结果来计算损失;利用有监督子网络在无监督指导下的有监督学习检测结果来计算损失;计算在无监督子网络指导下的当前模型对于记忆样本的检测结果与记录的记忆样本的旧的检测结果之间的KL散度;
记忆模块通过不断经验回放来巩固人脸伪造检测模型学习到的知识,每次随机提取的样本都会有一部分被复制到记忆模块当中,当人脸伪造检测模型在学习新的伪造技术时,会不断从记忆模块中采样样本数据,对人脸伪造检测模型进行训练;
所述无监督子网络包括捕捉伪造痕迹网络f、自监督编码器Essl和仿射网络P,其中,捕捉伪造痕迹网络f由6个卷积层累加堆叠构成,其学习目标是找出图像中的伪造区域,并对伪造区域进行遮盖处理;自监督编码器Essl是利用ResNet34中的每个block依次替换U‑Net架构中编码器中对应的block;仿射网络P由一个全连接层、一个批标准化层和一个ReLU激活函数层构成;
所述有监督子网络包括有监督编码器Esl、解码器Dsl和分割检测器S,其中,有监督编码器Esl结构等同无监督子网络中的自监督编码器Essl结构,解码器Dsl由6个卷积层以及残差结构构成,有监督子网络中的有监督编码器Esl和解码器Dsl在同维度上有残差结构连接,共同构成了U‑Net结构;分割检测器S由全连接层和Sigmoid函数层构成;
所述步骤S2中,以人脸伪造图像数据集为训练集,基于持续学习策略,训练预先构建好的双层孪生网络的实现包括以下步骤:i
S21,从训练集中,随机任取第i个伪造技术组成的数据集T中的第j批有标签样本图像,表示为{xi,j,yi,j},将该批有标签样本图像的部分样本复制到记忆模块中,表示为其中,记忆模块为双层孪生网络构建时用于存放样本数据的内存区域;
i
S22,对于第i个伪造技术组成的数据集T中的第j批有标签样本图像{xi,j,yi,j},复制成两份,分别通过两条不同路线输入无监督子网络:路线1是直接输入自监督编码器Essl,利用自监督编码器Essl提取的每一层特征,通过特征融合的方式,将同维特征逐元素相乘,指导有监督子网络中有监督编码器Esl的学习过程,并通过有监督子网络得到预测结果p1;此外,p1送入仿射网络P得到特征路线2是输入到捕捉伪造痕迹网络f,最终得到特征此时,通过无监督方式计算特征 和 的Barlow Twins自监督损失 表达式如下:
其中,
式中,λBarlowTwins为超参数权衡因子;Matrix为 与 的互相关系数矩阵;m、n表示 与这两个特征向量上维度的索引;Matrixmm表示矩阵Matrix中对角线上的元素值;Matrixmn表示矩阵Matrix中第m行、第n列的元素值;
其中,b表示为当前批次有标签样本的索引;
i
S23,对于第i个伪造技术组成的数据集T中的第j批有标签样本图像{xi,j,yi,j},首先输入到无监督子网络中,输出无监督子网络的预测结果 利用该预测结果 计算出第一分割损失函数Dice损失 约束人脸伪造检测模型在无监督学习下的特征提取,第一分割损失函数Dice损失 的表达式如下:其中,y表示标注的真实伪造位置;
随后,对记忆模块中的样本数据进行采样,得到有标签样本数据 利用经过无监督子网络指导过的有监督子网络进行预测,得到有监督网络的预测结果利用该预测结果 计算出第二分割损失函数Dice损失 约束人脸伪造检测模型在有监督学习下的特征提取,第二分割损失函数Dice损失的表达式如下:mem
M表示记忆模块中采样的样本数据的数量,y 表示该采样的有标签样本数据标注的真实伪造位置;
通过有监督网络的预测结果 和学习相同样本时记录的旧的预测结果
计算两者之间的KL散度,得到 损失:
其中,DKL(·)表示计算两个输入之间的KL散度,λreg是超参数退化系数,softmax(·)表示经过神经网络Softmax层激活,θ是超参数温度系数;
最终,人脸伪造检测模型的有监督损失 为:
利用有监督损失 同时对有监督子网络和无监督子网络的权重参数进行优化,不断迭代,直到满足条件,最终得到最优的权重参数。
2.根据权利要求1所述基于双层孪生网络和可持续学习的人脸伪造检测方法,其特征在于,步骤S1中,所述人脸伪造图像数据集的实现步骤如下:S11,选择人脸伪造检测任务的公共数据集FaceForensics++和人脸公开数据集CelebA;
其中,公共数据集包含大量人脸伪造视频,利用DeepFakes、Face2Face、FaceSwap和NeuralTextures四种人脸伪造技术,采用帧采样的方式,根据公共数据集中的视频得到人脸伪造图像;
人脸公开数据集包含大量真实人脸图像,利用DeepFakes,Face2Face,FaceSwap和NeuralTextures四种人脸伪造技术,对人脸公开数据集中的人脸图像进行伪造,每张图像随机采用一种伪造方式;
S12,对于获取到的所有人脸伪造图像,统一调整为相同尺寸,并按照伪造技术不同划i i分为t个任务数据集T={T |i=1,2,3,…,t},其中第i个伪造技术组成的数据集表示为T ,将所有的任务数据集整合到一起,形成一个完整的人脸伪造图像数据集。
3.根据权利要求1所述基于双层孪生网络和可持续学习的人脸伪造检测方法,其特征在于,步骤S2中,基于持续学习策略,不断重复选取任务数据集T中不同伪造技术组成的子i任务数据集T ,并用于持续训练该双层孪生网络,直到将任务数据集T中t个子任务数据集全部选取完;最终,得到最优的高泛化性权重参数。