利索能及
我要发布
收藏
专利号: 2025108037905
申请人: 浙江工商大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸图像深度伪造检测方法,其特征在于,包括:获取包含真实人脸图像和对应的伪造人脸图像的历史人脸图像;

构建伪造检测模型,包括伪造力度估计分支和伪造分类分支,并通过历史人脸图像对所述伪造检测模型进行训练,通过训练后的伪造检测模型对待检测人脸图像进行伪造检测;其中对所述伪造检测模型进行训练包括如下步骤:通过伪造力度估计分支提取历史人脸图像的特征,获得类别标记和补丁标记,并将补丁标记重塑为中间特征,通过两阶段训练机制获得中间特征的强伪造估计力度图和完整伪造估计力度图;其中完整表示包含强伪造和弱伪造线索;

获取强伪造估计力度图的第一掩膜,以及获取完整伪造估计力度图的第二掩膜,并生成第一掩膜和第二掩膜在两阶段训练时的伪造力度感知损失;

通过伪造分类分支对所述类别标记进行分类,并使用二元交叉熵损失函数对分类结果进行约束,获得区分真实人脸图像与伪造人脸图像的伪造分类损失;

对所述伪造力度感知损失和伪造分类损失进行整合,通过整合后的损失更新伪造检测模型参数,获得训练后的伪造检测模型;

所述将补丁标记重塑为中间特征,通过两阶段训练机制获得中间特征的强伪造估计力度图和完整伪造估计力度图,包括:将补丁标记 重塑为特征图 ,并将特征图 通过线性变换投影到伪造力度空间,得到第一阶段的中间特征 ,其中 为特征的维度, 表示历史人脸图像被划分的补丁数量;具体表达式为:;

将中间特征 通过线性变换 转换为估计的强伪造估计力度图 ,具体表达式为:

融合第一阶段的中间特征 和特征图 ,并通过线性变换 生成包含强伪造和弱伪造线索的完整伪造估计力度图 ,具体表达式为:。

2.如权利要求1所述的一种人脸图像深度伪造检测方法,其特征在于,所述通过伪造力度估计分支提取历史人脸图像的特征,获得类别标记和补丁标记,具体为:利用伪造检测模型的视觉变换器主干网络作为伪造力度估计分支;

将历史人脸图像 输入视觉变换器主干网络中提取相关特征,获得类别标记和 个补丁标记 ;

其中,历史人脸图像 , 和 分别表示历史人脸图像的高度和宽度, 表示历史人脸图像的通道数, 为特征的维度, , 表示历史人脸图像被划分的补丁数量。

3.如权利要求1所述的一种人脸图像深度伪造检测方法,其特征在于,所述获取强伪造估计力度图的第一掩膜,以及获取完整伪造估计力度图的第二掩膜,具体为:通过对真实人脸图像 和对应伪造人脸图像 的像素差值取绝对值,生成伪造力度图,具体表达式为:;

其中, 表示逐像素绝对值操作;

将伪造力度图转换为第一掩膜 和第二掩膜 ;其中,第一掩膜为强伪造力度图掩膜,第二掩膜为基于补丁的伪造力度图掩膜;

其中,第一掩膜 的转换过程具体包括:

对伪造力度图 设置阈值 ,去除伪造力度低于阈值的像素,生成强伪造力度图 ,具体表达式为:;

其中,为特征向量,为人脸图像的真实标签;

将 的三个通道求和并重塑为 ,其中 为图像划分的补丁大小, 为人脸图像数据的高度, 为补丁数量;

沿第一个维度对重塑强伪造力度图 的像素值进行求和,获得每个补丁内的伪造力度总和,并将每个补丁的伪造力度总和除以补丁面积 ,生成第一掩模 ;其中, 的取值范围归一化为 ;

其中,第二掩膜 的转换过程具体包括:

将伪造力度图 的三个通道求和并重塑为 ;

沿第一个维度对重塑强伪造力度图 的像素值进行求和,计算每个补丁内的伪造力度总和,并将每个补丁的伪造力度总和除以补丁面积 ,生成第二掩模 ,其中, 的取值范围归一化为 。

4.如权利要求3所述的一种人脸图像深度伪造检测方法,其特征在于,所述生成第一掩膜和第二掩膜在两阶段训练时的伪造力度感知损失,具体为:采用二元交叉熵损失函数约束伪造力度估计过程,获得第一阶段的强伪造力度估计损失 和第二阶段的全面伪造力度估计损失 ,具体表达式为:;

其中, 表示二元交叉熵损失函数;

通过第一阶段的强伪造力度估计损失 和第二阶段的全面伪造力度估计损失 获得最终的伪造力度感知损失 ,具体表达式为:。

5.如权利要求4所述的一种人脸图像深度伪造检测方法,其特征在于,所述通过伪造分类分支对所述类别标记进行分类,并使用二元交叉熵损失函数对分类结果进行约束,获得区分真实人脸图像与伪造人脸图像的伪造分类损失,具体为:将类别标记 输入伪造分类分支的二分类器,使用二元交叉熵损失函数对分类结果进行约束,获得伪造分类损失的具体表达式:;

其中, 为伪造检测模型预测的伪造概率, 表示人脸图像的真实标签,当 时,当前人脸图像为真实人脸图像;当 时,当前人脸图像为伪造人脸图像,为伪造分类分支的损失, 表示二元交叉熵损失函数, 的具体表达式为:

其中, 为第i个样本的特征向量, 为第i个样本预测的概率;

通过伪造分类损失进行真实人脸图像与伪造人脸图像的区分。

6.如权利要求5所述的一种人脸图像深度伪造检测方法,其特征在于,所述生成伪造力度图后,还包括:采用形状变换、力度变换和频率变换对伪造力度图 进行增广变换,生成增广变换后的伪造力度图 ,将增广变换后的伪造力度图 与真实人脸图像 结合,生成新的伪造人脸图像 ,生成公式为:= ‑ ;

通过新的伪造人脸图像 作为伪造检测模型的训练数据。

7.一种人脸图像深度伪造检测系统,其特征在于,包括:采集模块,用于获取包含真实人脸图像和对应的伪造人脸图像的历史人脸图像;

模型构建和检测模块,用于构建伪造检测模型,包括伪造力度估计分支和伪造分类分支,并通过历史人脸图像对所述伪造检测模型进行训练,通过训练后的伪造检测模型对待检测人脸图像进行伪造检测;其中对所述伪造检测模型进行训练包括:伪造力度模块,用于通过伪造力度估计分支提取历史人脸图像的特征,获得类别标记和补丁标记,并将补丁标记重塑为中间特征,通过两阶段训练机制获得中间特征的强伪造估计力度图和完整伪造估计力度图;其中完整表示包含强伪造和弱伪造线索;

感知损失获取模块,用于获取强伪造估计力度图的第一掩膜,以及获取完整伪造估计力度图的第二掩膜,并生成第一掩膜和第二掩膜在两阶段训练时的伪造力度感知损失;

分类损失获取模块,用于通过伪造分类分支对所述类别标记进行分类,并使用二元交叉熵损失函数对分类结果进行约束,获得区分真实人脸图像与伪造人脸图像的伪造分类损失;

模型更新模块,用于对所述伪造力度感知损失和伪造分类损失进行整合,通过整合后的损失更新伪造检测模型参数,获得训练后的伪造检测模型;

所述将补丁标记重塑为中间特征,通过两阶段训练机制获得中间特征的强伪造估计力度图和完整伪造估计力度图,包括:将补丁标记 重塑为特征图 ,并将特征图 通过线性变换投影到伪造力度空间,得到第一阶段的中间特征 ,其中 为特征的维度, 表示历史人脸图像被划分的补丁数量;具体表达式为:;

将中间特征 通过线性变换 转换为估计的强伪造估计力度图 ,具体表达式为:

融合第一阶段的中间特征 和特征图 ,并通过线性变换 生成包含强伪造和弱伪造线索的完整伪造估计力度图 ,具体表达式为:。

8.一种计算机设备,其特征在于,包括存储器及处理器,所述存储器中储存有程序,所述程序被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述一种人脸图像深度伪造检测方法的步骤。

9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的一种人脸图像深度伪造检测方法的步骤。