利索能及
我要发布
收藏
专利号: 2021101100967
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种对深度伪造人脸图像和视频的鉴别方法,其特征在于,包括如下步骤:S1,采集混合训练样本;

S2,构建鉴别模型;所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络;

S3,利用所述混合训练样本训练所述鉴别模型;

S4,利用训练好的鉴别模型去鉴别待鉴别人脸视频。

2.根据权利要求1所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S1中采集混合训练样本的方法为:

S11,收集大量深度伪造视频和其对应的原视频构成训练数据集;

S12,对每个深度伪造视频使用人脸检测方法检测每帧中的第一人脸位置,在有伪造人脸的连续帧中,随机截取长度为L的片段,并用第一人脸位置信息剪裁出人脸方框,构成深度伪造人脸片段;

S13,对每个深度伪造视频对应的原视频使用人脸检测方法检测每帧中的第二人脸位置,在有人脸的连续帧中,随机截取长度为L的片段,并用第二人脸位置信息剪裁出人脸方框,构成原视频人脸片段;

S14,取深度伪造人脸片段中的一帧F和原视频人脸片段中的对应帧R,将帧F和对应帧R取加权和形成混合人脸图像;

S15,将所有深度伪造人脸片段和对应的原视频人脸片段通过步骤S14的方法形成混合人脸图像,即得到混合训练样本。

3.根据权利要求2所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S14中帧F和对应帧R取加权和的权重符合为符合某种分布的[0,1]随机采样。

4.根据权利要求2所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S2中每个所述2D深度卷积神经网络的卷积核为2D,主干网络为常用深度卷积神经网络,全连接层为2分类结构。

5.根据权利要求4所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S3中训练所述2D深度卷积神经网络的方法为:(1)从混合训练样本中随去抽取一帧混合人脸图像进行中心裁剪,使得人脸离远离混合人脸图像边缘,然后重复使用第一个2D深度卷积神经网络对中心裁剪后的混合人脸图像进行前向和后向传播进行训练;

(2)从混合训练样本中随去抽取一帧混合人脸图像进行中心裁剪,使得人脸离贴近混合人脸图像边缘,然后重复使用第一个2D深度卷积神经网络对中心裁剪后的混合人脸图像进行前向和后向传播进行训练。

6.根据权利要求4所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S2中所述3D深度卷积神经网络为以一个2D深度卷积神经网络为基础,将其卷积核替换为3D卷积核,使其具有在视频帧间进行卷积的能力。

7.根据权利要求6所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S3中训练所述3D深度卷积神经网络的方法为,从混合训练样本中随去抽取连续几帧混合人脸图像,然后重复使用3D深度卷积神经网络对连续几帧混合人脸图像进行前向和后向传播进行训练。

8.根据权利要求1所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S4包括如下子步骤:

S41,对待鉴别人脸视频随机抽取一段视频帧片段;

S42,使用训练好的两个2D深度卷积神经网络对视频帧片段中的每帧中的人脸进行鉴别;

S43,使用训练好的3D深度卷积神经网络对视频帧片段中的每帧进行鉴别;

S44,对两个2D深度卷积神经网络和3D深度卷积神经网络的鉴别预测值,使用加权的集成方法作为鉴别结果。

9.根据权利要求8所述的对深度伪造人脸图像和视频的鉴别方法,其特征在于,步骤S44中所述加权的集成方法使用的权重为鉴别预测值的置信度;所述置信度为鉴别预测值与0.5的距离。