利索能及
我要发布
收藏
专利号: 2020107365651
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向人脸伪造视频检测的精细化特征融合方法,其特征在于:该方法包括如下步骤:(1)获取包含真假人脸视频的数据集,对数据集中的真假人脸视频进行帧分解,将视频格式文件转化为连续的图像帧序列;

(2)对步骤(1)获得的连续图像帧序列进行人脸位置检测,调整检测结果使人脸框中包含一定面积的背景;对每一帧图像剪裁人脸框,得到连续的人脸图像序列数据集;

(3)将步骤(2)得到的人脸图像序列数据集作为人脸图像训练集,使用该训练集数据训练深度卷积网络EfficientNet B0模型,方法如下:(3.1)利用EfficientNet B0模型在ImageNet数据集上训练好的权重进行模型初始化;

(3.2)将EfficientNet B0模型的最后一层神经元的分类层剔除,对最后一层卷积层的输出进行全局平均池化,得到特征向量,将其连接到单个以sigmoid作为激活函数的神经元分类层;

(3.3)以小批量随机梯度下降作为优化器,设置动量以及批次大小,二分类交叉熵作为损失函数;将剪裁后的人脸图像训练集重新随机排列,在步骤(3.2)的模型上训练;

(4)从步骤(2)得到的人脸图像序列中随机选取连续的N帧,依次输入深度卷积网络EfficientNet B0模型,将网络最后一个卷积层的输出作为输入帧的深度特征图,对于连续的N帧人脸图像,得到连续的N个深度特征图构成的特征图组;

(5)将步骤(4)中得到的特征图组分解为独立的特征图,将相同通道的特征图按照原序列顺序重新堆叠得到新的特征图组;

(6)将步骤(5)中得到的新的特征图组输入一个权值共享的卷积层进行二次特征提取,该卷积层输出一个特征向量,将该特征向量连接到单个神经元,以sigmoid为激活函数进行最终的视频片段真假分类。

2.根据权利要求1所述的一种面向人脸伪造视频检测的精细化特征融合方法,其特征在于:在步骤(2)中,使用MTCNN人脸检测器对连续图像帧序列进行人脸位置检测,并对检测结果进行调整,方法如下:(2.1)使用MTCNN逐帧地对图像帧序列进行人脸检测,MTCNN得到3组返回值:

1)图像中包含人脸的概率;2)人脸矩形框位置信息,以(x,y,w,h)进行表示,其中x,y表示以图像左上角点为原点,检测到的人脸矩形的左上角横纵坐标,w,h分别表示矩形框的宽和高;3)检测到的人脸的5个关键点位置;

(2.2)对于步骤(2.1)中检测到的人脸,计算人脸框中心坐标点Pcenter,公式如下:以Pcenter为中心,以人脸框中的长边作为参照,将人脸框扩展α倍,扩展公式如下:α*max(w,h),α*max(w,h))其中,

Rectnew表示扩展后的人脸矩形框位置信息;

(2.3)根据步骤(2.2)中扩展后的人脸矩形框信息,从连续的图像帧序列中裁剪出包含人脸的图像块,得到人脸图像序列,当MTCNN返回检测到人脸的概率低于设定的阈值时,不对该图像进行剪裁。

3.根据权利要求1所述的一种面向人脸伪造视频检测的精细化特征融合方法,其特征在于:在步骤(4)中,连续的N帧人脸图像得到深度特征图组的方法如下:(4.1)对于训练后的EfficientNet B0模型,将其最后一层单神经元分类层与全局平均池化层剔除,得到以人脸图像为输入,最后一层卷积层激活值为输出的特征提取模型,记作M(x;W),其中x表示输入图像,W表示模型的权值;

(4.2)对于N帧人脸图像序列V={I1,I2,...,IN},IN表示第N帧人脸图像,将其输入特征提取模型M(x;W)并得到最后一层卷积层的激活值,作为输入人脸图像序列的深度特征组,记作 其中H,W和C分别表示每个输入人脸图像对应深度特征图的高、宽与通道数,F表示特征图。

4.根据权利要求3所述的一种面向人脸伪造视频检测的精细化特征融合方法,其特征在于:所述步骤(5)将相同通道的特征图按照原序列顺序重新堆叠得到新的特征图组,方法如下:c

(5.1)将特征图组拆分,得到N×C个尺寸为H×W的特征图,记作fn ,其中,n表示该特征图f是从第n帧提取而来,c表示该特征图f的通道索引,n∈[1,N],c∈[1,C];

(5.2)将特征图f按照帧序号n的顺序进行重组,即对于具有相同的通道索引c的特征图f,根据对应原始帧序列的次序重新组合,得到新的特征图组 Fnew表示新的特征图。

5.根据权利要求4所述的一种面向人脸伪造视频检测的精细化特征融合方法,其特征在于:在步骤(6)中,利用权值共享的卷积层进行最终的视频片段真假分类的方法如下:(6.1)对于包含C个 的新特征图组,利用后续的权值共享卷积层,分别将Fnew作为输入,输出由C个标量特征构成的C维特征;

(6.2)对于步骤(6.1)输出的C维特征,直接将其连接到单个神经元,对该神经元使用sigmoid激活函数进行非线性处理,将输出规范到[0,1]。