利索能及
我要发布
收藏
专利号: 2022103306761
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种Deepfake视频篡改检测方法,其特征在于,包括如下步骤:从目标视频中筛选出帧图像序列,所述帧图像序列中的每张帧图像均包含人脸面部区域;

将每张所述帧图像中的人脸面部区域划分为多张子帧图像,每张所述子帧图像表示从所述人脸面部区域中划分出的其中一个子空间区域;

通过预先设置的级联网络对所有所述子帧图像进行特征提取;其中,通过所述级联网络对所述子帧图像进行特征提取包括:对所述子帧图像进行卷积,将卷积后的结果进行像素邻域相关性特征提取,将特征提取结果进行池化,将池化结果进行特征表示,得到高频、中频以及低频的第一特征图分量;

对所述低频的第一特征图分量进行卷积,将卷积后的结果进行像素邻域相关性特征提取,将特征提取结果进行池化,将池化结果进行特征表示,得到高频、中频以及低频的第二特征图分量;依次类推,直至对所述低频的第N‑1特征图分量进行卷积,将卷积后的结果进行像素邻域相关性特征提取,将特征提取结果进行池化,将池化结果进行特征表示,得到高频、中频以及低频的第N特征图分量;其中,N是指所述级联网络的最大层数;

根据所有中频的第一特征图分量至第N特征图分量生成特征向量;所述根据所有中频的第一特征图分量至第N特征图分量生成特征向量,包括步骤:通过PCA对中频的第一特征图分量至第N特征图分量进行主成分分析并保留设定能量值,生成特征向量;

根据所述特征向量进行视频篡改检测。

2.根据权利要求1所述的Deepfake视频篡改检测方法,其特征在于,所述从目标视频中筛选出帧图像序列,包括步骤:从所述目标视频中依次选取出所有含有人脸面部区域的帧图像;

计算相邻两张所述帧图像之间的像素矩阵距离,当相邻两张所述帧图像之间的像素矩阵距离大于阈值,则保留相邻两张所述帧图像;当相邻两张所述帧图像之间的像素矩阵距离小于或等于阈值,则删除相邻两张所述帧图像中的清晰度较低的所述帧图像;

将保留的所述帧图像组成帧图像序列。

3.根据权利要求2所述的Deepfake视频篡改检测方法,其特征在于,所述计算相邻两张所述帧图像之间的像素矩阵距离包括:将彩色所述帧图像转换成灰度所述帧图像,计算相邻两张灰度所述帧图像之间的像素矩阵距离。

4.根据权利要求1所述的Deepfake视频篡改检测方法,其特征在于,在所述将每张所述帧图像中的人脸面部区域划分为多张子帧图像之前,还包括步骤:当所述帧图像的人脸面部区域的尺寸小于预设值,则通过RCAN网络对小于所述预设值的所述帧图像进行超分辨化。

5.根据权利要求1所述的Deepfake视频篡改检测方法,其特征在于,在所述生成特征向量之后,还包括:通过XGBoost分类器对所述特征向量设定与分类标签。

6.根据权利要求1至5任一项所述的Deepfake视频篡改检测方法,其特征在于,所述级联网络由4层子网络组成,前两层的子网络的卷积核大小为2*2,步长为1;后两层的子网络的卷积核大小为3*3,步长为1。

7.一种Deepfake视频篡改检测系统,其特征在于,包括:

帧图像筛选模块,用于从目标视频中筛选出帧图像序列,所述帧图像序列中的每张帧图像均包含人脸面部区域;

子空间划分模块,用于将每张所述帧图像中的人脸面部区域划分为多张子帧图像,每张所述子帧图像表示从所述人脸面部区域中划分出的其中一个子空间区域;

级联网络模块,用于对所有所述子帧图像进行特征提取,其中,通过所述级联网络对所述子帧图像进行特征提取包括:对所述子帧图像进行卷积,将卷积后的结果进行像素邻域相关性特征提取,将特征提取结果进行池化,将池化结果进行特征表示,得到高频、中频以及低频的第一特征图分量;

对所述低频的第一特征图分量进行卷积,将卷积后的结果进行像素邻域相关性特征提取,将特征提取结果进行池化,将池化结果进行特征表示,得到高频、中频以及低频的第二特征图分量;依次类推,直至对所述低频的第N‑1特征图分量进行卷积,将卷积后的结果进行像素邻域相关性特征提取,将特征提取结果进行池化,将池化结果进行特征表示,得到高频、中频以及低频的第N特征图分量;其中,N是指所述级联网络的最大层数;

特征提取模块,用于根据所有中频的第一特征图分量至第N特征图分量生成特征向量;

所述根据所有中频的第一特征图分量至第N特征图分量生成特征向量,包括步骤:通过PCA对中频的第一特征图分量至第N特征图分量进行主成分分析并保留设定能量值,生成特征向量;

决策模块,用于根据所述特征向量进行视频篡改检测。

8.一种Deepfake视频篡改检测设备,其特征在于,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如权利要求1至6任一项所述的Deepfake视频篡改检测方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的Deepfake视频篡改检测方法。