1.一种基于特征增强Mamba框架的人脸伪造检测方法,其特征在于,包括以下步骤:S1:数据集的准备;
S2:构造基于特征增强的Mamba框架;
该框架在原有Mamba框架的基础上引入了局部性增强状态空间模块,该模块包括全局特征增强模块和局部特征增强模块;
S3:模型的训练;
具体的图像特征提取流程如下:S31:全局特征增强模块的特征提取;
S32:局部特征增强模块的特征提取;
S33:融合特征的获取;
S4:损失函数构造;
所述S31的具体步骤为:
将图片经过残差连接网络和半特征金字塔网络处理后提取到全局信息 通过全局特征增强模块进行处理,得到增强后的全局特征信息 ;
全局增强特征 提取公式如下:(1);
其中:n∈N表示的是全局特征增强模块的数量;
LN()表示的是层归一化;
SSMs()表示的是状态空间模型;
表示的是全局特征增强模块编码器;
表示的是全局特征增强模块解码器;
表示的是激活函数;
表示的是卷积核大小为3x3的深度可分离卷积;
表示的是线性层;
表示的是全局特征增强模块;
在全局特征增强模块中,全局特征增强模块编码器和全局特征增强模块解码器都使用希尔伯特扫描方法进行扫描;
希尔伯特曲线的生成公式如下:(2);
其中: 表示的是n阶希尔伯特矩阵,当n>1时,希尔伯特矩阵 是通过递归地组合四个n阶希尔伯特矩阵 、 、 和 来构建的;
公式中的 是一个全1矩阵,用于在组合过程中保持矩阵的结构;
当n=1是, 构造如下:
(3)。
2.根据权利要求1所述的基于特征增强Mamba框架的人脸伪造检测方法,其特征在于:全局特征增强模块包括层归一化、线性层、深度卷积、Sigmoid线性单元激活函数、全局特征增强模块编码器、状态空间模型、全局特征增强模块解码器和残差连接。
3.根据权利要求2所述的基于特征增强Mamba框架的人脸伪造检测方法,其特征在于:所述S32的具体步骤为:
将通过残差连接网络和半特征金字塔网络处理后得到的人脸局部特征 输入到两个并行的卷积块进行处理,增强局部特征 提取公式如下:(4);
其中: 表示的是1x1的卷积;
表示的是卷积核大小为kxk的深度可分离卷积。
4.根据权利要求3所述的基于特征增强Mamba框架的人脸伪造检测方法,其特征在于:所述S33的具体步骤为:
通过沿通道维度的串联,将增强后的全局特征和局部特征融合在一起,形成融合特征,该模块的最终输出 通过1×1的2D卷积获得,以恢复通道计数,使其与输入和残差连接的通道计数相匹配,公式如下:(5);
其中: 为局部性增强状态空间模块的输入;
Concat(Go,Lk5,Lk7)为经过局部性增强状态空间模块处理后得到的融合特征;
Conv2D1x1()为1x1的2D卷积。
5.根据权利要求4所述的基于特征增强Mamba框架的人脸伪造检测方法,其特征在于:所述S4的具体步骤为:
将特征增强Mamba框架提取到的特征图 输入到全连接层FC中,通过分类器进行分类,判断人脸图像是真实的还是伪造的,在这个过程中通过交叉熵损失函数LCE、LL1损失函数以及LL2损失函数指导模型进行训练;
交叉熵损失函数 的公式为:(6);
其中:N是样本数量;
是第i个样本的真实标签;
是第i个样本的预测概率;
损失函数计算公式为:
(7);
其中: 是第i个样本的预测值;
损失函数计算公式为:
(8);
将这三种损失函数结合使用,通过加权求和的方式形成一个总的损失函数Ltotal,在训练过程中使总的损失函数Ltotal的值不断减小,从而优化模型的性能,提高分类的准确性,总损失函数Ltotal的公式为:(9);
其中:α、β和γ是三种损失函数的权重。