1.一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,包括以下步骤:步骤1、将一组带标签的源数据、带标签的目标数据输入到检测网络中,经过基础网络提取源域和目标域的训练样本特征,分别馈送至各自分支的分流中心差分注意力中;
步骤2、分流中心差分注意力通过捕获像素强度信息和像素梯度信息来获取伪造图像的局部细粒度特征,同时将异质感受野大小注入到标记中,通过对不同的注意力头使用不同大小的键Key和值Value来进行深层细粒度特征的提取;
步骤3、跨域学习模块通过共享源域分流中心差分注意力中的查询Query和目标域数据中的键Key、值Value来捕获源域和目标域的跨域一致性特征;
步骤4、将得到的源域和目标域的最终特征输入到分类器进行图像真伪的判断,设计跨域一致性中心损失进行监督;对目标域的最终特征与跨域学习模块的跨域一致性特征使用蒸馏损失,缩小两者的差异,使目标域分支尽可能地获取源域分支的知识;同时,将源域和目标域伪图像的最终特征输入到鉴别器进行领域判断,通过最小化鉴别损失来进一步学习深度跨域一致性表示。
2.根据权利要求1所述的一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,所述步骤1具体包括以下步骤:A1、将源域和目标域的人脸伪造图像,通过人脸检测对齐网络MTCNN检测出人脸关键点,并将人脸伪造图像对齐,裁剪为224×224尺寸大小的输入图像Is、It;
A2、将Is、It输入到基础网络中提取图像初级特征,分别用xs、xt表示;xs、将xs、xt馈送至分流中心差分注意力模块;C、H、W分别表示图像通道数、高度及宽度。
3.根据权利要求2所述的一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,所述步骤2具体包括:B1、将输入的低级特征xs、xt采用3×3卷积来生成查询特征Xq,其公式为:Xq(p0)=∑pn∈RW(pn)·X(p0+pn) (1)
其中W(pn)表示权重,p0表示输入和输出特征图上的当前位置,pn表示感受野区域R中的位置;将Xq展平为一系列令牌 将每个像素视为令牌;
B2、在Xq上采用局部中心差分卷积来生成细粒度不变特征 其具有上
述3×3卷积的共享权重W(pn),其公式为:
Xkv(p0)=Xq(p0)‑∑pn∈RW(pn)·X(p0) (2)B3、为了获得更深层次的细粒度特征,采用分流制度,将多个注意头分成若干组,每组采用键令牌和值令牌的大小不相同;具体来说,对于不同的注意力头,将K、V下采样到不同的大小;具体公式如下:其中,MAT()是多尺度token聚合层,i是头部索引,ri是下采样率, 是线性投影的参数; 和值令牌B4、最后,为了获得最终的细粒度特征,通过Query和Key之间的点积来计算输入之间的注意力得分,对得分应用softmax函数,以便得到正值的概率分布;使用注意力权重对Value进行加权求和,得到最终的输出;计算公式如下:其中,dh表示维数。
4.根据权利要求3所述的一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,所述步骤3具体包括:C1、输入的低级特征xs、xt通过分流中心差分注意力分别得到源域对应的Qs、KS、VS和目标域对应的Qt、Kt、Vt;在跨域学习模块中使用源域的Qs和目标域中的Kt、Vt去学习目标域图像与源域相似的伪造特征;
C2、通过Qs和Kt之间的点积来计算输入之间的注意力得分,对得分应用softmax函数,以便得到正值的概率分布;使用注意力权重对Vt进行加权求和,得到最终的输出,计算公式如下:其中,dh表示维数。
5.根据权利要求4所述的一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,所述步骤4将得到的源域和目标域的最终特征输入到分类器进行图像真伪的判断,设计跨域一致性中心损失进行监督,具体包括以下步骤:D1、中心损失在训练过程中维护一个中心向量矩阵,每个类别对应一个中心向量,在每次训练迭代中,该损失会计算当前样本的特征向量与其对应中心向量之间的欧氏距离,并通过反向传播更新该样本所属类别的中心向量,以便更好地聚类相似样本,公式如下所示:其中,N为训练样本的总数,c为类别中心;
D2、设计跨域一致性中心损失函数Lce,该函数添加了一个最大化类别中心约束项以扩大类别间距离;
其中,N是小批量中的样本数量,xi是第i个样本的特征,c是类别中心,cs、ct分别为真假类别中心,m是类别中心之间的间隔边界;
D3、引入具有全局信息的softmax损失来指导中心点的更新,softmax损失函数公式如下所示:其中xi表示属于第j类的第i个样本的特征, 表示第i个样本的权重矩阵, 表示第j类的权重矩阵, bj表示偏置,N表示分类数量。
6.根据权利要求5所述的一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,所述步骤4对目标域的最终特征与跨域学习模块的跨域一致性特征使用蒸馏损失,具体包括以下步骤:E1、将跨域学习模块得到的特征送入分类器,得到一个概率分布,将概率分布视为一个软标签,用于通过蒸馏损失进一步监督目标域分支,其公式如下:其中,qk和pk分别是类别k从跨域学习分支和目标域分支得到的概率。
7.根据权利要求6所述的一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,所述步骤4将源域和目标域伪图像的最终特征输入到鉴别器进行领域判断,通过最小化鉴别损失来进一步学习深度跨域一致性表示,具体包括以下步骤:F1、将整个特征提取过程看作一个特征提取器G,训练整个特征提取器G来欺骗伪面部,使得伪面部的领域标签无法区分;整个特征提取器G和鉴别器D以对抗性的方式进行训练,以减少领域差异并学习跨不同相关领域的伪面部的深层领域不变特征;
F2、在训练过程中,通过最小化域分类的损失来优化鉴别器,最大化相同的损失来优化特征提取器,具体公式如下:其中,M表示伪训练样本的总数,xf为伪造图像样本,zi为领域标签,G表示特征提取器,D(.)鉴别器。
8.根据权利要求7所述的一种基于跨域一致性学习的人脸伪造检测方法,其特征在于,将四种损失进行相加操作,得到最终的图像伪造检测损失Ltotal,具体包括:通过将跨域学习模块,分流中心差分注意力整合到一个统一的网络框架中,一个基于跨域一致性学习的人脸伪造检测框架基本形成,其参数可以通过Ltotal进行优化:Ltotal=λ1Ldtl+λ2Ladv+ λ3Lce+ LSoftmax (11)其中,λ1,λ2和λ3表示总的损失函数中的超参数。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至8任一项所述的基于跨域一致性学习的人脸伪造检测方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的基于跨域一致性学习的人脸伪造检测方法。