利索能及
我要发布
收藏
专利号: 2024105338501
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸图像篡改异常检测方法,其特征在于,包括以下步骤:获取待识别的图像;

根据所述待识别的图像,基于预先训练的对抗网络模型,进行生成处理,得到生成图像;

根据所述生成图像,计算待识别的图像与生成图像之间的异常得分;

根据所述异常得分和预设的阈值,判断待识别图像的人脸是否被篡改;

所述对抗网络模型包括生成器G1、生成器G2、判别器D1和判别器D2;

未经过人脸篡改的图像的正常图像域描述为域A,经过人脸篡改的图像的异常图像域描述为域B,生成器G1负责将域A的图像转换为域B的图像,生成器G2负责将域B的图像转换为域A的图像,判别器D1用于判断图像是否属于域A,而判别器D2用于判断图像是否属于域B;

所述对抗网络模型的训练包括:

初始化所述对抗网络模型的模型参数;

初始化所述对抗网络模型的模型参数,包括:初始化生成对抗网络CycleGAN的生成器和判别器网络结构,并在生成器和判别器中嵌入SENet模块形成所述对抗网络模型;

所述SENet模块用于学习每个通道的权重,并将学到的通道权重与原始输入特征图相乘,得到重新加权的特征图;

所述SENet模块包括:

一个平均池化层,用于对生成器或判别器中间层生成的特征图进行全局平均池化,从而将每个通道的空间信息压缩为一个单一的数字,得到一个包含C个元素的向量,其中C是输入特征图的通道数;

两个全连接层,其中一个全连接层用于对所述向量进行下采样,之后连接有一个ReLU激活函数,接着通过另一个全连接层对所述向量进行上采样,之后连接有一个Sigmoid激活函数;

所述生成器包括依次连接的3个卷积模块A、多个残差块、两个转置卷积模块、Conv层和Tanh层;其中,所述卷积模块A包括依次连接的Conv层、实例归一化层、Relu层和SENet模块;

所述转置卷积模块包括依次连接的TransConv层、实例归一化层、Relu层和SENet模块;

所述判别器包括依次连接的Conv层、ReLU层、SENet模块、3个卷积模块B和Conv层;所述卷积模块B包括依次连接的Conv层、实例归一化层、SENet模块和ReLU层。

2.根据权利要求1所述的人脸图像篡改异常检测方法,其特征在于,所述对抗网络模型的训练还包括:构建损失函数;

获取训练样本,并对所述训练样本进行预处理,得到训练集;

基于所述训练集和损失函数对所述对抗网络模型进行训练,得到训练好的对抗网络模型。

3.根据权利要求2所述的人脸图像篡改异常检测方法,其特征在于,所述损失函数包括对抗损失、身份损失以及循环一致性损失;构建损失函数,包括:整个模型训练阶段的损失函数定义为:

其中, 和 是超参数,用于权衡循环一致性损失和身份损失的重要性;

为生成器G1的对抗损失,其定义如下:

其中,a,b分别表示属于域A和域B的数据,G1(a)表示生成器G1生成的图像,Pdata(b)代表域B的分布,Pdata(a)代表域A的分布,b Pdata(b)表示b服从域B的分布, 表~示 服从域A的分布, 表示b服从域B的分布下的数学期望, 表示服从域A的分布下的数学期望; 表示判别器D2对b的判定的概率值,  表示判别器D2对 的判定的概率值;为生成器G2的对抗损失,其定义如下:

其中, G2(b)表示生成器G2生成的图像;

表示判别器D1对 的判定的概率值,  表示判别器D1对 的判定的概率值;

为总的身份损失,计算公式为:

为生成器G1的身份损失,定义如下:

为生成器G2的身份损失定义如下:

为循环一致性损失,其定义如下:

首先是从域A到域B再到域A的循环一致损失 :;

然后是从域B到域A再到域B的循环一致损失 :;

因此,总的循环一致性损失 为:

其中, 表示生成器G2根据生成器G1生成的图像生成的图像,  表示生成器G1根据生成器G2生成的图像生成的图像。

4.根据权利要求2所述的人脸图像篡改异常检测方法,其特征在于,获取训练样本,并对所述训练样本进行预处理,得到训练集,包括:根据指定的路径读取正常图像与异常图像;

将读取到的正常图像与异常图像尺寸设置为指定大小并进行中心裁剪,使大小一致;

将处理好的全部训练数据进行归一化处理,得到训练集;

基于所述训练集和损失函数对所述对抗网络模型进行训练,包括:将当前批次域A数据送入生成器G1得到生成图像G1(XA),再将生成图像G1(XA)送入生成器G2得到生成图像G2(G1(XA)),将G2生成图像G2(G1(XA))送入判别器D1进行判定得到D1(G2(G1(XA))),计算生成器G2的对抗损失,循环一致性损失以及身份损失;

将当前批次域B数据送入生成器G2得到生成图像G2(XB),再将生成图像G2(XB)送入生成器G1得到生成图像G1(G2(XB)),将G1生成图像G1(G2(XB))送入判别器D2进行判定得到D2(G1(G2(XB))),计算生成器G1的对抗损失,循环一致性损失以及身份损失;

基于对抗损失,循环一致性损失以及身份损失并通过梯度下降方法更新生成器G1、生成器G2、判别器D1和判别器D2的权重,得到训练好的对抗网络模型。

5.根据权利要求1所述的人脸图像篡改异常检测方法,其特征在于,根据所述待识别的图像,基于预先训练的对抗网络模型,进行生成处理,得到生成图像,包括:读取预训练的对抗网络模型的生成器G2;

基于所述生成器G2,将所述待识别的图像进行重建,得到生成图像。

6.根据权利要求1所述的人脸图像篡改异常检测方法,其特征在于,根据所述生成图像,计算待识别的图像与生成图像之间的异常得分,包括:将所述生成图像与待识别的图像之间的残差值定义为异常得分,其计算方式如下:;

式中,x表示输入的图像,G2(x)表示生成器G2生成的图像;A(x)表示为异常得分函数。

7.根据权利要求1所述的人脸图像篡改异常检测方法,其特征在于,根据所述异常得分和预设的阈值,判断待识别图像的人脸是否被篡改,包括:通过将异常得分与预设的阈值P进行比对,若异常得分大于P,则当前图像为经过人脸篡改的图像,否则为判定为未经过人脸篡改的图像。

8.一种用于执行如权利要求1所述的人脸图像篡改异常检测方法的人脸图像篡改异常检测装置,其特征在于,包括:输入模块,用于:获取待识别的图像;

生成模块,用于:根据所述待识别的图像,基于预先训练的对抗网络模型,进行生成处理,得到生成图像;

得分模块,用于:根据所述生成图像,计算待识别的图像与生成图像之间的异常得分,得到异常得分;

判断模块,用于:根据所述异常得分和预设的阈值,判断待识别图像的人脸是否被篡改;

所述对抗网络模型包括生成器G1、生成器G2、判别器D1和判别器D2;

未经过人脸篡改的图像的正常图像域描述为域A,经过人脸篡改的图像的异常图像域描述为域B,生成器G1负责将域A的图像转换为域B的图像,生成器G2负责将域B的图像转换为域A的图像,判别器D1用于判断图像是否属于域A,而判别器D2用于判断图像是否属于域B。

9.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时,实现权利要求1‑7任一项所述的人脸图像篡改异常检测方法的步骤。