利索能及
我要发布
收藏
专利号: 2022105982716
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于局部异常的强泛化深度伪造人脸检测方法,其特征在于:该方法包括如下步骤:(1)对训练数据集中的真假人脸视频进行帧分解,将视频格式文件转化为连续的图像帧序列,对图像帧序列,使用人脸检测器检测出人脸位置;对每一张图像帧剪裁人脸框,得到连续的人脸图像训练集;

(2)将(1)中得到的人脸图像输入自适应空域富模型,在通过对空域富模型滤波核施加一个约束条件,使其中心元素保持为‑1,其余元素之和保持为1;该约束空域富模型进行滤波处理时,自适应地更新高通滤波器中的各个滤波元素提取高频噪声特征;

(3)将(1)中得到的人脸图像输入噪声流,即将(2)中自适应空域富模型提取的高频噪声特征输入骨干网络Resnet18模型的前3个block,并计算二分类交叉熵损失;

(4)将(1)中得到的人脸图像输入RGB流,即将(1)中人脸图像依次输入Resnet18模型的前3个block,并在每个block后进行局部增强;

(5)在(4)中RGB流骨干网络最后的池化层提取特征图输入局部异常模块计算异常得分,结合(3)中的二分类交叉熵损失得到最终的异常损失,利用反向传播对局部异常模块与骨干网络进行更新,得到训练好的局部异常检测网络;

(6)获取待检测数据集,剪裁人脸图像,输入训练好的局部异常检测网络进行最终人脸真假分类。

2.根据权利要求1所述的强泛化深度伪造人脸检测方法,其特征在于:所述步骤(2)中,自适应空域富模型的具体操作如下:(2.1)从空域富模型的30个滤波器中选择中心元素分别为2,4,12的3个高通滤波器;

(2.2)将所选择的3个滤波器在通道维度扩展至维度为3,以匹配输入图像的3通道;

(2.3)对3个滤波器分别用2,4,12作为量化因子对其进行量化操作,使其中心元素值为‑1,其余元素值之和为1;

(2.4)在网络训练的每次反向传播后,将其中心元素值重置为‑1,其余元素之和重置为

1。

3.根据权利要求1或2所述的强泛化深度伪造人脸检测方法,其特征在于:所述步骤(5)中,二阶局部异常模型的操作如下:H×W×C

(5.1)将从池化层提取的源特征图X=F(I)∈R 按通道维度的方向划分为n×n个图像块,其中,I表示输入图像,F表示骨干网络,H,W,C分别表示特征图的长度、宽度和通道数,每个图像块的大小为h×w,h,w分别表示图像块的长度与宽度,其中h=H//n,w=W//n;

(5.2)设(m,n)为图像块的横坐标索引与纵坐标索引,则对于一个位于(m,n)位置的图像块用Xmn进行表示,分别计算该图像块与其正上方、正下方、正左方、正右方这四个方位最近邻图像块的相似度;

(5.3)将四个方位次近邻的图像块也纳入相似度的计算范围中,即对一个图像块Xmn的八个图像块对{Xmn,Xm+i,n+j},i∈{0,±1,±2},j∈{0,±1,±2},两两计算相似度;

(5.4)设计1×1卷积操作f,将特征图投射到统一的新维度空间,然后将特征利用全连接层输出真/假的二类分类概率,最后引入二分类的交叉熵损失用于约束卷积网络:(5.5)在数据集中真假标签的监督下,对(5.3)所述的八个图像块对中的每一对图形块的相似度取平均值,并根据(5.4)中全连接层输出的概率作为真假分类的结果。

4.根据权利要求1或2所述的强泛化深度伪造人脸检测方法,其特征在于:使用MTCNN逐帧地对图像帧序列进行人脸检测,MTCNN将返回3组返回值:

1)图像中包含人脸的概率;2)人脸矩形框位置信息,以(x,y,w,h)进行表示,其中x,y表示以图像左上角点为原点,检测到的人脸矩形的左上角横纵坐标,w,h分别表示矩形框的宽和高;3)检测到的人脸的5个关键点位置;

设定人脸概率阈值,当MTCNN返回检测到人脸的概率低于阈值时,不对该图像进行剪裁;对于检测到的人脸,首先根据以下公式计算人脸框中心坐标点Pcenter:以Pcenter为中心坐标,以w,h中较长的边作为参照,扩展α倍,扩展公式如下所示:其中,Rectnew表示扩展后的人脸矩形框位置信息,其四个元素同样分别表示新矩形框的左上角横纵坐标以及其宽和高。

5.根据权利要求1或2所述的强泛化深度伪造人脸检测方法,其特征在于:所述步骤(4)中,在每个block后进行局部增强,在每个卷积block后的特征图分块后进行变形,具体地,卷积网络中定义了如下操作:其中,x代表输入特征,y代表和x同尺寸的输出特征,都以向量形式表示;i是需要被计算相似度的图像块的索引坐标,j是被关联计算到的周边图像块的索引坐标;C(x)为正则化的系数;g是一个线性嵌入层,是一个一元函数;f代表对i和j两两间相似度的计算操作,是高斯函数,表示如下:其中, 是点对点间的相似度计算;对上述的高斯函数进行扩展,用于计算投影后在新维度空间内的相似度,如下所示:其中,θ(xi)=Wθxi和φ(xj)=Wφxj是两个嵌入层;

线性嵌入层g表示为:g(xj)=Wgxj,其中Wg是一个被学习的权重矩阵,在空间上是1×1×

1的卷积操作;还设置了 作为正则化的系数;经此操作,使感受野集中于所需要的局部信息的提取。