1.一种基于傅里叶域适应的人脸伪造视频检测方法,其特征在于:该方法包括以下步骤:S1:将源域数据集和目标域数据集中的视频序列进行傅里叶域适应,得到域对齐后的视频序列;
S2:将域对齐后的视频序列中每一帧图像输入到Xception网络中,得到每一帧图像的特征向量;
S3:将域对齐后的视频序列输入到TimeSformer时空变换器网络中,得到视频序列的特征向量;
S4:将Xception网络和TimeSformer时空变换器网络输出的特征向量相互融合,得到融合后的特征向量;
S5:将融合后的特征向量输入到分类器中,得到视频序列是否为人脸伪造的判断结果;在S1中,将源域数据集和目标域数据集中的视频序列进行傅里叶域适应,得到域对齐后的视频序列,实现步骤包括:S11:给定源域数据集的视频为 ,
目标域数据集的视频为 ,其中, 表示源域数据集的某个视频, 表示 对应视频的彩色图片帧,其中 表示实数域, 和 表示图像的高和宽,3表示为颜色通道为红色、绿色和蓝色的RGB图像, 表示该视频或图片对应的标签,即人脸伪造视频为真或假,其中, 代表目标域数据集的视频, 代表目标域数据集的图片, 代表目标域数据集的对应的标签;
S12:设 代表彩色图像进行傅里叶变换的幅值分量, 代表彩色图像进行傅里叶变换的相位分量,对于单通道的图像,通过公式(1)把图像从空间域转换到频率域,公式(1)为:(1)
其中, 是图像在坐标 处的像素值, 是变换后的图像在坐标处的值, 为虚数单位, 为欧拉数, 表示图像的横坐标, 表示图像的纵坐标, 和代表频率域中的横纵坐标, 表示在 方向上的频率变化, 表示在 方向上的频率变化, 代表图像的高度, 代表图像的宽度;
S13:用 表示一个掩码矩阵,用于替换图像的低频区域,用式(2)表示为:
(2)
其中,指定图像的中心位置为 , 组成一个正方形的图像像素值全为1的区域,其中, 用来表示此正方形区域的大小, 、 表示图像的高和宽, 、 表示需要进行掩码区域的高和宽;
S14:根据傅里叶逆变换把频率域的图像再次转换到空间域,得到域对齐后的图像,变换公式为式(3): (3)
S15:把公式(3)记作 ,给定两个视频序列中的帧图片 , ,傅里叶域适应用式(4)表示为:
(4)
其中, 表示傅里叶逆变换, 表示源域视频的一张图像, 表示目标域视频的一张图像, 表示风格迁移后生成的图像, 表示源域图像傅里叶变换后的相位部分,表示目标域图像傅里叶变换后的幅值部分, 表示源域图像傅里叶变换后的幅值部分, 表示掩码矩阵,表示两个函数的复合;在所述S15中, 设置为0.001;所述傅里叶域适应是指:将源域数据集和目标域数据集中每个视频序列在时频平面上进行傅里叶变换,并计算其幅度谱和相位谱,然后,将源域数据集中每个视频序列与目标域数据每个视频序列进行随机配对,并将配对后视频序列之间交换其幅度谱;最后,将交换幅度谱后视频序列在时频平面上进行傅里叶逆变换,并保留其原始相位谱;
所述特征融合是指将不同网络的特征向量进行组合或整合,以生成更具表达能力或更适合分类任务的新特征向量,设使用的Xception为 , 函数表示对图像的特征进行提取, 表示提取到的特征向量,参见公式(5)所示,接下来要根据对应的帧数来求帧序列对应的平均特征向量 ,参见公式(6)所示,其中 表示帧序列中所包含的帧数;
同理,设使用的TimeSformer为 , 函数表示对图像序列的特征进行提取, 表示提取到的特征向量, 表示风格迁移后生成的帧序列,参见公式(7)所示,设 为融合后的特征向量,其表示为公式(8),表示把 与 两个特征向量对应相加,得到融合后的特征向量后,再进行公式(9)便可得到最终的预测概率 ,其中 表示softmax层,表示线性层;对于Xception网络,根据公式(10)便可把 经过线性层与softmax层转化为预测类别的概率 ;
(5)
(6)
(7)
(8)
(9)
(10)。
2.根据权利要求1所述的一种基于傅里叶域适应的人脸伪造视频检测方法,其特征在于:对于Xception网络,使用的损失函数 为交叉熵损失,其计算公式用式(11)表示如下:(11)
其中, 表示自然对数,底数为 , 是真实样本标签。
3.根据权利要求2所述的基于傅里叶域适应的人脸伪造视频检测方法,其特征在于:对于TimeSformer时空变换器网络,使用的损失函数 为焦点损失,其计算公式用式(12)表示如下:(12)
其中, 表示自然对数,底数为 , 为调节参数, 设置为2, 表示一个缩放因子, 用来调整正负样本的权重,设置为0.25;其中, 表示TimeSformer网络的损失函数。
4.根据权利要求3所述的基于傅里叶域适应的人脸伪造视频检测方法,其特征在于:设置参数 为不同损失的权重参数:(13)
其中, 为整个流程的总损失, 为Xception网络的损失, 为TimeSformer网络的损失, 为比例系数,设置为0.5。