1.一种基于深度学习的深度伪造压缩人脸图像鉴别方法,其特征在于,包括如下步骤:步骤1、采用动态自适应离散余弦变换对深度伪造压缩人脸图像进行频域模态提取;
步骤2、采用多头自注意力机制和多维熵态载荷互馈机制提取频域高维载荷特征;具体过程为:步骤2.1、通过多头自注意力机制捕获载荷的熵态空间上下文长远依赖关系,Q个载荷经过多头自注意力机制后形成Q个高维载荷,所有的高维载荷构成高维载荷集合S={s1,s2,…,sQ},sQ为第Q个高维载荷;
步骤2.2、使用多维熵态载荷互馈机制进行多维度的细粒度特征交互和反馈注意力计算;具体过程为:步骤2.2.1、高维载荷集合中每个高维载荷的熵态是不对称的非正态分布,通过标准差统计泛函,测量每一个高维载荷的熵态大小,并按照熵态大小对高维载荷进行全局层级排序,计算公式为:其中,R(S)表示排序后的高维载荷集合;E[·]表示熵态期望值;FRank(·)表示排序算法;
步骤2.2.2、将排序后的高维载荷集合R(S)分解为两个子集,分别映射至不同的熵维度区域,两个子集分别为低熵态高维载荷子集R(S)a和高熵态高维载荷子集R(S)b,其中a、b表示不同的熵维度;高熵态载荷包含在R(S)b中;
步骤2.2.3、调整感知窗口的大小以及感知窗口的偏移量 来非均匀的自适应重构R(S)b,重构时,感知窗口的边界控制因子设为原来的二倍;
经过重构后的高熵态高维载荷子集为R(S)b′,R(S)b′的高维载荷数量Q′和高维载荷维度D′的计算公式为:步骤2.2.4、对R(S)a和R(S)b′进行双向跨维交互;具体的计算公式为:其中,cross_attena、cross_attenb分别表示R(S)a、R(S)b′经过双向跨维交互后的高维载荷特征;gcross_attention(·)表示交叉注意力融合方法;
步骤2.2.5、对cross_attenb进行形状修正,将cross_attenb恢复成与cross_attena相同的形状,变为相同的形状后对cross_attena和cross_attenb在熵态维度上进行级联得到最终的频域高维载荷特征;
步骤3、基于预训练的深度残差网络提取空域特征;
步骤4、基于注意力机制对频域高维载荷特征和空域特征进行特征融合;
步骤5、采用包含全连接层的分类器对融合特征进行鉴别分类。
2.根据权利要求1所述基于深度学习的深度伪造压缩人脸图像鉴别方法,其特征在于,所述步骤1的具体过程为:N×N
步骤1.1、将深度伪造压缩人脸图像X∈R 经过统一的预处理投影到泛域空间中,记为人脸图像矩阵XN,并对XN施加可学习的动态离散余弦变换矩阵MD,MD通过训练过程中损失函数的反馈不断更新,矩阵元素生成的计算公式为:其中,N表示动态离散余弦变换矩阵的大小; 表示训练第t轮时动态离散余弦变换矩阵第i行第j列元素的值; 表示 根据损失函数训练第t一1轮的更新量;
步骤1.2、使用MD对XN做离散余弦变换得到高维频域响应结果Xfreq,计算公式为:其中, 表示训练第t轮的高维频域响应结果; 表示训练第t轮的动态离散余弦变换矩阵;T表示转置;
步骤1.3、更新自适应多频滤波器FA∈{Fh,Fm,Fl,Fa},Fh、Fm、Fl、Fa分别对应高频自适应滤波器、中频自适应滤波器、低频自适应滤波器、全频自适应滤波器部,计算公式为:其中, 为训练第t轮的自适应多频滤波器; 分别表示训练第t轮的高频自适应滤波器、中频自适应滤波器、低频自适应滤波器、全频自适应滤波器;
σ(·)表示Sigmoid激活函数;ε表示自适应参数;
分别表示
根据损失函数训练第t‑1轮的更新量;Bh、Bm、Bl、Ba分别表示高频基础滤波器、中频基础滤波器、低频基础滤波器、全频基础滤波器,计算公式为:其中,表示基础滤波器的矩阵行号;表示基础滤波器的矩阵列号;
步骤1.4、使用FA对Xfreq进行分解并融合,得到最终的频域模态图像Yfreq,计算公式为:其中, 表示训练第t轮的频域模态图像;Fconv(·)表示频域模态特征通道的卷积映射操作; 表示级联操作;*表示矩阵乘法;
步骤1.5、在训练的过程中通过损失函数的反馈对MD和FA进行动态的自适应更新调整,MD和FA的更新规则计算公式为:其中, 表示 根据损失函数训练第t‑1轮的更新量, 表示训练第t‑1轮时动态离散余弦变换矩阵第i行第j列元素的值; 表示 根据损失函数训练第t‑1轮的更新量, 表示训练第t‑1轮的自适应多频滤波器;η表示学习率;
L(t‑1)表示第t一1轮的损失函数;
步骤1.6、将提取到的频域模态图像Yfreq使用5×5的卷积神经网络进行浅层频域模态伪造特征提取,然后对浅层频域模态伪造特征进行分割,分割成一个个的载荷,载荷数量Q和载荷维度D的计算公式为:其中,Ωh、Ωw、Ωc分别表示载荷在熵态空间中的纵向维度、横向维度、特征通道数量;
表示感知窗口的边界控制因子。
3.根据权利要求2所述基于深度学习的深度伪造压缩人脸图像鉴别方法,其特征在于,所述步骤3中,在InmageNet数据集上预训练好深度残差网络ResNet50,ResNet50通过残差块堆叠来进行特征提取,每一个残差块的计算公式为:其中, 表示第k个残差块执行的残差卷积操作; 表示在第k个残差块提取的空域特征; 表示在第k‑1个残差块提取的空域特征; 表示残差块的总数。
4.根据权利要求3所述基于深度学习的深度伪造压缩人脸图像鉴别方法,其特征在于,所述步骤4的具体过程为:步骤4.1、首先将空域特征和频域高维载荷特征进行级联,然后计算级联特征的注意力权重Watten,计算公式为:其中,Featuresspa表示空域特征;Featuresfreq表示频域高维载荷特征;Conv(·)表示1×1的卷积操作;Φ(·)表示RELU激活函数;
步骤4.2、将级联特征的注意力权重与级联特征进行逐元素相乘,得到融合特征。
5.根据权利要求4所述基于深度学习的深度伪造压缩人脸图像鉴别方法,其特征在于,所述步骤5的具体过程为:步骤5.1、使用全连接层计算融合特征的未归一化得分;全连接层将融合特征的维度投影到要分类的类别维度,全连接层投影的公式如下:其中,表示分类类别, 表示伪造类别, 表示真实类别; 表示类别 的归一化得分;Featuresfus表示融合特征; 表示类别 对应的全连接层的权重矩阵;
表示类别 对应的全连接层偏置;
步骤5.2、使用Softmax激活函数将未归一化得分转换为对应的概率,选择概率大的类别作为模型判定的输出类别,Softmax激活函数的概率计算公式如下:其中,P表示不同类别的概率; 分别为伪造类别、真实类别的归一化得分。