利索能及
我要发布
收藏
专利号: 2024108847522
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,包括以下步骤:

步骤1、首先,将输入的人脸图像通过活体检测网络,经过特征增强模块生成两个不同视角下的图像;然后,将这两个图像以及原始人脸图像通过编码器Encoder模块提取初始特征;将编码器中低、中、高层提取的特征送入多尺度特征融合模块进行融合;同时,将两个不同视角下提取的特征送入特征一致性模块,以保证它们在特征空间中的一致性;

步骤2、多尺度特征融合模块将低中高三层特征进行充分融合之后送入到网络的Decoder模块进行RGB与深度图的域迁移操作,并计算域迁移模块中判别器损失以及尺度金字塔损失;

步骤3、将两个不同视角下提取的特征送入特征一致性模块,通过密集度相似性损失计算两个不同视角下的特征一致性损失;最后,结合判别器损失以及尺度金字塔损失同组成总的损失,通过迭代对抗训练、更新模型参数;

步骤4、将原始图像经过参数更新后的Encoder部分提取到的真实样本的高层特征送入到分类器中进行活体分类。

2.根据权利要求1所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述步骤1具体包括以下步骤:

1.1先对输入到训练网络中的图片进行样本均衡操作,即让每次参与训练的真假样本的数量保持在1:1的比例;

1.2紧接着,将均衡后的训练样本进行特征增强生成两个不同视角下的增强图像,将人脸图像x,通过一系列数据增强方法包括:随机裁剪、区域进行随机打乱、旋转、缩放、平移、随机擦除生成两个增强后的图像x1、x2;

1.3将人脸图像x,以及生成的增强图像x1、x2输入Encoder模块中提取图像的高层特征,得到原始图像的低、中、高三层的特征图f1、f2、f3和增强图像的高层特征H3、T3;将f1、f2、f3馈送至多尺度特征融合模块;H3、T3馈送至特征一致性模块。

3.根据权利要求2所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述步骤1.3将均衡后的训练样本和增强后的图像送入Encoder,进行面部轮廓特征信息的提取,以得到始图像的低、中、高三层的特征图f1、f2、f3和两个增强图像的高层特征H3、T3,具体包括:

1)先对输入到网络中的图像进行卷积预处理操作,得到一个通道数为64的特征图f0以及增强之后的两个通道为64的特征H0和T0;

2)将特征图f0以及H0和T0入Encoder中的第一个特征提取块,第一个特征提取块由3个连续的卷积层组成,前2个卷积层后面紧跟归一化层与激活层,而最后一个卷积层后面只有一个归一化层;经过第一个特征提取块的处理,得到三个通道数为128,尺寸为128*128的一个特征图f1、H1、T1;

3)将特征图f1、H1、T1送入Encoder中的第二个特征提取块,该块的构造与第一个特征提取块的相同,经过第二个特征提取块的处理,得到三个通道数为128,尺寸为64*64的特征图f2、H2、T2;

4)将特征图f2、H2、T2送入Encoder中的第二个特征提取块,该块的构造与前两个的特征提取块的构造相同,经过第三个特征提取块的处理,得到三个通道数为128,尺寸为32*32的特征图f3、H3、T3;将上述过程表示成公式如下:f0=C0(x)#(1)

fi=P(σ(Ci(fi‑1)+Bi(fi‑1))),i∈{1,2,3}#(3)

其中,x是输入图像,Conv3*3是卷积核为3*3的卷积层,Bi是Encoder中的第i个特征提取模块,σ是非线性激活函数,P代表最大池化层,fi是Encoder中经过激活函数与最大池化层处理后得到的特征。

4.根据权利要求1所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述步骤2将提取到的将f1、f2、f3馈送至多尺度特征融合模块进行RGB与深度图的多尺度域迁移操作,并计算域迁移模块中生成器与判别器的损失;H3、T3馈送至特征一致性模块,计算一致性损失,具体包括以下步骤:

2.1通过将多尺度特征融合之后引入域迁移模块,从而有利于模型能够在源域中学习到丰富的与目标域相关的域知识;

2.2将多尺度特征图拼接起来,首先送入多尺度特征融合模块进行特征融合,随后送入生成器Decoder里面,进行深度图的预测;

2.3将预测得到的深度图与相对应尺寸的RGB图在通道维度上进行拼接操作,再将拼接后的图像送入GAN网络中,计算损失值并更新网络模块中的梯度参数。

5.根据权利要求4所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述步骤2.2将得到的多尺度特征图拼接起来,首先送入多尺度特征融合模块进行特征融合,随后送入生成器Decoder里面,进行深度图的预测,具体包括以下步骤:

1)首先用自适应平均池化操作将特征图f1、f2的尺寸变为与f3的一致,再将这三个特征图送入多尺度特征融合模块,得到一个特征维度为128*3,尺寸为32*32的特征图fcon;

2)将f1、f2相加得到特征fxa然后分别将fxa送入局部和全局注意力机制中,得到局部特征fxl和全局特征fxg,将局部特征fxl和全局特征fxg相加得到fxlg;

3)通过Sigmoid函数将fxlg映射到[0,1]范围内得到融合权重ω;将输入特征f1和特征f2分别乘以融合权重ω和(1‑ω),并将结果相加得到最终的融合特征fxo;同时对于特征f1和f3执行同样的操作得到融合后的特征fxo1,将融合后的特征进行通道级的拼接操作得到最终的特征fcon;

其中, 代表像素级求和,σ代表Sigmoid函数, 代表通道级拼接操作,L代表局部注意力,G代表全局注意力;

4)将fcon送入由三个连续的卷积层组成的生成器Decoder里面,每个卷积层的后面紧跟归一化层与非线性激活层,用于预测通道数为1的深度图,即得到一个尺寸为32*32,特征维度为1的深度图 将该过程用公式的方式表示如下:其中,Decoder(.)表示深度图生成器,Down(.)代表下采样操作, 表示预测得到的尺寸为32*32的深度图。

6.根据权利要求4所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述步骤2.3将预测得到的多尺度深度图与相对应尺寸的RGB图在通道维度上进行拼接操作,再将拼接后的图像送入GAN网络中,计算损失值并更新网络模块中的梯度参数,具体包括以下步骤:

1)先将深度图 与相对应尺寸的RGB图x32进行通道级拼接操作,不让其参与梯度的计算,然后分别送入到判别器Dis中,将通过PRNet网络得到的标准深度图d32与RGB图x32进行通道级拼接操作,让它们参与梯度的计算,然后送入到判别器Dis中;计算判别器的GAN损失,将上述过程表示成公式如下:其中,Di代表对尺寸为i*i的图像进行判别的判别器,xi代表尺寸为i*i的RGB图像,di代表尺寸为i*i的标准深度图, 代表预测得到的尺寸为i*i的深度图;

2)将深度图 分别与RGB图x32进行通道级拼接操作,让它们参与梯度的计算,用权重参数更新后的判别器对拼接后的图像进行判别,还用尺度金字塔损失SP Loss对预测到的深度图进行监督,尺度金字塔损失由金字塔损失和多尺度损失共同组成。

7.根据权利要求6所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述用尺度金字塔损失SP Loss对预测到的深度图进行监督,尺度金字塔损失由金字塔损失和多尺度损失共同组成,具体步骤为:先将PRNet网络得到的目标深度图d32和预测生成的深度图 分别进行多尺度的插值操作,将它们调整到不同的尺度,然后对每个尺度下的插值结果计算方误差损失,衡量预测值和目标值的差异,将各个尺度下的损失累加,得到金字塔损失 随后,将预测值和目标值分别降采样到多个尺度,对每个尺度下的预测值和目标值计算L1损失,衡量它们之间的绝对差异,将各个尺度下的损失累加,并求平均得到多尺度损失 最后,将金字塔损失和多尺度损失 进行通过加权因子α加权求和,得到最终的尺度金字塔损失 计算得到生成器的GAN损失与尺度金字塔损失,并更新生成器Decoder与Encoder中的模型参数。

8.根据权利要求1所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述步骤3将两个不同视角下提取的特征送入特征一致性模块,通过密集度相似性损失计算两个不同视角下的特征一致性损失,具体包括以下步骤:

1)首先将提取两个视角下提取到的特征H3、T3送入预测器对输入的特征进行进一步的处理和预测,预测器是一个具有两个隐藏层的神经网络结构,第一隐藏层包含卷积、批归一化和ReLU激活函数的序列;该序列首先使用1×1的卷积核将输入特征从128维度转换为隐藏层的128维度,然后对输出进行批归一化,最后使用ReLU激活函数进行非线性变换;第二隐藏层是一个1×1的卷积层,将第一隐藏层的输出从128维度转换为输出的128维度;最终,2

得到了最终两个展平张量H、 其中s代表特征图的空间分辨率,而d代表每个

特征向量的维度;通过密集相似性损失来计算两个不同视角下特征图之间的相似性损失;

密集相似度损失计算了两个张量之间的密集相似度,考虑了每个元素之间的相对关系,而不仅仅是全局平均向量之间的相似度可以更好地捕捉局部特征之间的关系,将上述过程表示成公式如下:i j

其中,H表示特征图H第i行的特征,T表示特征图T的第j列;

用Encoder再次提取特征信息,可得最后一级特征f3;

将最后一级特征f3送入分类器中,对样本进行分类操作,并计算分类损失。

9.根据权利要求8所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,所述将最后一级特征f3送入分类器中,对样本进行分类操作,并计算分类损失,具体包括以下步骤:

1)将经过Encoder提取到的特征f3送入分类器中,这个分类器由3个卷积层、2个最大池化层、1个全局平均池化层与1个全连接层组成,每个卷积层后面紧跟一个归一化层与非线性激活层;分类器用于对输入的图像进行最终的判别操作,即判断输入的人脸图像是真实的还是攻击的;

2)将真样本的标签值设定为1,而攻击样本的标签值设定为0,通过这种类型的标签值设定,就可以将真假样本的判别操作视为一个二分类操作;让分类器为每个样本预测一个分数值,并用二分交叉熵损失函数对预测的值进行监督,最后,用交叉熵损失值更新分类器、Encoder中的权重参数;将上述过程表示成公式如下:其中,代表分类器对样本的预测值,y代表样本的标签值。

10.根据权利要求9所述的基于特征一致性和尺度金字塔损失的人脸反欺骗方法,其特征在于,最终的总损失函数具体包括:其中,λ1、λ2、λ3、λ4代表总损失函数的加权超参数。