利索能及
我要发布
收藏
专利号: 2020102614412
申请人: 陕西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于人脸关键点引导式生成对抗网络的人脸修复方法,其特征在于步骤如下:步骤1:构建人脸关键点引导式生成对抗网络,该网络包括人脸修复模块和人脸关键点预测模块;

所述的人脸修复模块由一个生成器和一个判别器组成,生成器包括输入、10个卷积层、

2个空洞卷积层、2个反卷积层、输出;输入是大小为64×64×3的带随机二进制掩膜的人脸图像,如下:IM=I⊙M        (1)

式中,IM为带随机二进制掩膜的人脸图像,I为用于训练网络的人脸数据集中的原始人脸图像,M为随机生成的大小为64×64的二进制掩膜;

第一层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出64个大小为64×

64的特征图;第二层卷积层,卷积核大小为5×5,步长为2,激活函数为LReLU,输出128个大小为32×32的特征图;第三层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出

128个大小为32×32的特征图;第四层卷积层,卷积核大小为5×5,步长为2,激活函数为LReLU,输出256个大小为16×16的特征图;第五层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出256个大小为16×16的特征图;第六层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出256个大小为16×16的特征图;第七层空洞卷积层,卷积核大小为3×3,空洞率为2,激活函数为LReLU,输出256个大小为16×16的特征图;第八层空洞卷积层,卷积核大小为3×3,空洞率为4,激活函数为LReLU,输出256个大小为16×16的特征图;第九层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出256个大小为16×

16的特征图;第十层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出256个大小为16×16的特征图;第十一层反卷积层,卷积核大小为5×5,步长为2,激活函数为LReLU,输出128个大小为32×32的特征图;第十二层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出128个大小为32×32的特征图;第十三层反卷积层,卷积核大小为5×5,步长为2,激活函数为LReLU,输出64个大小为64×64的特征图;第十四层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出32个大小为64×64的特征图;第十五层输出层,是生成器生成的大小为64×64×3的人脸图像;

判别器包括输入、4个卷积层、1个全连接层、输出;输入是大小为64×64×3的人脸图像;第一层卷积层,卷积核大小为5×5,步长为2,激活函数为LReLU,输出64个大小为64×64的特征图;第二层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出128个大小为32×32的特征图;第三层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出

256个大小为16×16的特征图;第四层卷积层,卷积核大小为5×5,步长为1,激活函数为LReLU,输出512个大小为4×4的特征图;第五层全连接层,激活函数为Sigmoid,输出一个范围为[0,1]的单个数值,代表输入判别器人脸为真实人脸的概率值;

所述的人脸关键点预测模块包括输入、4个卷积层、1个全连接层、输出;除输出外,该模块结构与上述判别器结构相同;该模块输出为一个136维的向量,代表人脸68个关键点x、y坐标预测结果;

步骤2:训练人脸关键点引导式生成对抗网络,该网络的训练包含两个步骤,第一步训练人脸关键点预测模块,第二步固定人脸关键点预测模块,训练人脸修复模块;

第一步使用带有人脸关键点标签的人脸数据集训练人脸关键点预测模块,训练过程使用的人脸关键点损失函数定义如下:Lld=||H(IX)-PGT||1          (2)

式中,Lld为人脸关键点损失函数,IX是人脸关键点预测模块的输入人脸图像,在训练人脸关键点预测模块时,IX=I,H(·)代表人脸预测模块的输出,PGT代表输入人脸图像对应的人脸关键点标签值,||·||1表示L1范数;

第二步使用带有人脸关键点标签的人脸数据集训练人脸修复模块,训练由交替更新生成器和判别器参数完成,训练使用的人脸修复模块损失函数由三个部分组成,第一部分为传统的对抗损失函数,定义如下:式中Ladv为对抗损失函数,D(·)代表判别器的输出,G(·)代表生成器的输出,E[·]代表期望值;

第二部分为人脸重构损失函数,定义如下:

Lmse=||I-G(IM)||2       (4)

式中,Lmse为人脸重构损失函数,||·||2表示L2范数;

第三部分为人脸关键点损失函数,定义如公式(2)所示,其中,在训练生成器时,IX=G(IM);

最终确定人脸修复模块损失函数:

LFIM=αLmse+βLadv+γLld          (5)

式中,LFIM为人脸修复模块损失函数,α,β和γ为超级参数;

步骤3:人脸修复

将待修复的人脸输入到模型中的生成器中,生成器输出一张完整的人脸,然后将输出人脸对应待修复区域剪贴到待修复人脸上,最终得到人脸修复结果:IC=G(IM)⊙(1-M)+IM        (6)

式中,IC为人脸修复结果。