利索能及
我要发布
收藏
专利号: 2024104872510
申请人: 齐鲁工业大学(山东省科学院)
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于双分支协作学习的跨域人脸伪造检测方法,其特征在于,包括以下步骤:S1:将双分支协作学习框架划分为两个分支,每个分支包含一个教师网络和一个学生网络,其中,第一个分支的教师和学生分别记作 和 ,第二个分支的教师和学生分别记作 和 ;

S2:使用基于FFT的风格转换方法来生成潜在域图像 ,保持源域图像的内容 与目标域图像 的风格;

S3:对学生网络进行优化;

S4:对教师网络进行优化;

S5:使用Xception作为骨干网络,对两对教师和学生网络,进行人脸伪造检测;

所述S2的具体步骤为,通过将 的振幅替换为 的振幅,利用FFT生成类目标图像;

S2 1:将 源域 、潜 在域 和目 标 域分 别定 义为 、及 ;

其中: 、 及 分别表示每一个域中图像的个数;

由于 和 有着相同的内容,因此 可作为标签同时使用;

, , 分别表示源域、潜在域、目标域中随机选取的第 , , 张人脸图像;

, 分别表示源域和目标域中的第 , 张人脸图像的标签;

S22:构造了两对自适应,即 和 ;

第一个分支的 和 在 对上进行域对齐和知识蒸馏,第二个分支的 和在 对上处理相同的过程;

所述S3的具体步骤为:

S31:先通过FFT引入一个额外的潜在域,减轻图像层面的域适应难度;

通过将 和其它域分别放在两个分支中进行对齐,使得两个分支可通过两个学生网络探索更丰富的跨域知识,为伪标签的细化提供更多的线索;

在 中,输入 和 依次经过特征提取器、对抗鉴别器和域分类器;

S32:利用对抗学习在特征级实现域对齐;

在特征提取器和域分类器之间引入了梯度反转层,当 中的 缺乏标号时, 的损失函数可认为是无监督损失,表示如下:(1)

其中: 表示域标签;

为无监督损失中平衡两个分类重要性的权重,设置为0.1;

表示用于区分真假人脸的负对数似然损失;

表示用于从哪个域分类特征的负对数似然损失;

表示 的标签;

所述S4中,采用了EMA将学生网络中的参数传递到教师网络中,表示为:(2)

其中: 和 分别为 和 的参数;

为EMA的平滑系数,设置为0.994,该系数决定了 参数更新的权值。

2.根据权利要求1所述的基于双分支协作学习的跨域人脸伪造检测方法,其特征在于:所述S5的具体步骤为:

S51:提出动态更新模块,以提高教师网络生成伪标签的可靠性;

对于相同的 ,引入两个丢弃层,分别从 和 产生 个预测结果,然后计算 个预测结果的标准差 ,表示为:(3)

其中: 表示 个预测结果的平均值,设置为5;

表示第 次 的预测结果;

S52:通过在线调整策略来更新 在第 次的二进制概率 ,可表示为:(4)

其中: 表示 在第 个epoch后预测的二进制概率;

表示更新后的二进制概率,即被分为真脸或假脸的概率;

表示具体采用的分支, ,即表示两个分支都进行公式4的操作;

为epoch数;

S53:根据公式(3)和(4),通过比较 与 的值来选择不确定性较低的教师网络生成伪标签,细化后的伪标签可表示为:(5)

其中: 为类别数;

为通道数;

为第一个分支第 个通道 的预测概率值;

为第二个分支第 个通道 的预测概率值;

S54:采用平滑策略来更好地利用伪标签, 的预测概率值 调整如下:(6)

其中:表示平滑系数,设置为0.1;

当 得到细化后的伪标签时,使用交叉熵损失 来优化 :(7)

其中, 表示调整后的预测概率值;

因此,公式(1)中的无监督损失可以转化为半监督域自适应损失;

因此,和的总损失函数可以表示为:(8)

其中, 是控制 的超参数,设置为1.0。