利索能及
我要发布
收藏
专利号: 2022115588684
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,包括以下步骤:

步骤1、将一张包含姿态变化和遮挡的人脸图像输入到CP‑GAN遮挡检测网络中,定位人脸的遮挡区域,从而保留未遮挡区域;

步骤2、将所述遮挡检测网络处理后的人脸图像以及姿态编码输入到CP‑GAN双通道协同对抗生成网络中,通过对抗生成网络的生成器多次迭代逐步转正人脸图像和恢复人脸遮挡区域;

步骤3、将合成图片以及数据库中对应的真实图像分别输入正面化判别器和去遮挡判别器,通过所述判别器区分人脸图像的真实性,并且使用交叉熵损失、对抗损失、像素级损失、人脸身份损失和对称损失构建最终的损失函数,通多生成对抗网络的对抗训练,更新参数得到目标网络模型。

2.根据权利要求1所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,所述步骤1将一张包含姿态和遮挡变化的人脸图像输入到CP‑GAN遮挡检测网络,有效定位人脸的遮挡区域,从而保留未遮挡区域,具体包括以下步骤:A1、将训练图像输入到遮挡检测网络,遮挡检测网络以U‑Net结构作为基础网络结构,对输入图像编码提取特征,得到各层特征F1,F2,F3,F4,然后通过跳跃连接到对应解码器用于检测遮挡区域,从而保留未遮挡区域;

A2、为了充分利用人脸结构以及遮挡物的拓扑特征信息以进行遮挡检测,通过采用拓扑结构感知模块将上述特征F1,F2在跳跃连接前进行特征优化,得到含有人脸和遮挡区域结构信息的拓扑特征;

A3、设计一个拓扑特征感知模块,在进行不同层的跳跃连接之间,先将F1和F2在输入到拓扑结构感知模块中进行优化,得到拓扑结构特征。

3.根据权利要求2所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,所述步骤A2通过采用拓扑结构感知模块将上述特征F1,F2在跳跃连接前进行特征优化,得到含有人脸和遮挡区域结构信息的拓扑特征,具体包括:B1、对输入特征进行可变形卷积,首先将原始特征输入到一个卷积层中获取每个采样点的偏移量offset,然后可变形卷积根据offset对原始特征进行采样,其公式为:其中x代表F1、F2,x′o表示通过可变形卷积增强后包含结构信息的特征,给定一个有k个采样位置的卷积核,w(pk)表示可变形卷积的卷积核权重,p表示卷积核中心位置,而k={1,…,|R|},而pk表示原始采样点位置,Δpk表示学习的offset,Δmk用于指出第k个采样位置的重要程度,R={(‑1,‑1),(‑1,0),…,(0,1),(1,1)}表示一个3×3规则的卷积核,通过公式(1)得到x′o;

B2、对输入特征使用通道注意力机制进行特征增强得到增强后的特征x′e,通道注意力能够找出更具判别力的通道用于遮挡检测;

B3、将x′o和x′e进行特征拼接,得到拓扑结构特征x′输出到跳跃连接中,从而最终得到遮挡区域信息M′。

4.根据权利要求3所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,所述步骤B3将x′o和x′e进行特征拼接,得到拓扑结构特征x′输出到跳跃连接中,并且最终得到遮挡区域信息M′,通过和遮挡区域标签进行二进制交叉熵损失的计算来优化遮挡检测网络,其具体公式为:其中,N是每个图像的总像素数,M表示检测标签,而M′表示检测网络的输出;最后,以

0.5为阈值对检测图进行二值化,为双通道生成对抗网络提供指导。

5.根据权利要求4所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,所述步骤2将所述遮挡检测网络处理后的人脸图像以及姿态编码输入到CP‑GAN双通道协同对抗生成网络中,通过所述生成器生成特定姿态人脸图像和恢复人脸遮挡区域,并且通过多次迭代逐步转正人脸图像,具体包括以下步骤,C1、首先将原始图像、遮挡区域以及目标姿态编码输入到CP‑GAN双通道网络,分为正面化通道和去遮挡通道,用公式表示为:I

其中 为第I次人脸旋转结果, 为第I次人脸去遮挡的结果,P为第I次需要生成的人脸姿态编码,M′为人脸的遮挡区域,(1‑M′)表示未被遮挡区域,GF表示正面化通道生成器,GD表示去遮挡通道生成器;正面化通道和去遮挡通道之间通过交互特征完成两个任务的协作;

C2、最终CP‑GAN将通过多次迭代,以渐进的方式完成图像合成,GD和GF的求解可以建模成如下最小化优化问题:i

其中y表示数据库中对应的真实图片,d(·)表示用于计算合成图片与真实图片之间的距离函数。

6.根据权利要求5所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,所述步骤C1中正面化通道和去遮挡通道之间通过交互特征完成两个任务的协作,具体包括以下步骤:首先两个通道GF和GD各自对需要处理的图像 在编码阶段进行特征提取,所提取到的特征分别表示为 然后在解码阶段前将两个特征进行拼接,通过特征共享的方式,两个通道交互所需要的互补特征,其公式表示为:其中EncoderF,EncoderD分别为正面化通道和去遮挡的编码器, 和 为其对应的提取到的特征;两个通道对应的解码器部分将对两个特征进行拼接,并根据拼接后的特征进行图像合成,其公式表示为:其中DecoderF,DecoderD分别为正面化通道和去遮挡的解码器,cat表示特征拼接操作。

7.根据权利要求5所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,所述步骤C2,CP‑GAN将通过多次迭代,以渐进的方式完成图像合成,具体包括以下步骤:E1、使用三维人脸对齐方法得到当前人脸姿态信息;

E2、在得到人脸姿态信息后,将人脸正面化的过程分解为多个步骤,将姿态码作为条件输入网络,并通过渐进方法逐步进行正面化;姿势代码是一个大小为11的one‑hot编码,它表示需要生成的面部姿态,范围从‑75°至+75°,间隔为15,由原始姿态决定需要旋转的次数。

8.根据权利要求1所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,所述步骤3具体包括:F1、首先将合成图片以及数据库中对应的真实图像分别输入正面化通道判别器和去遮挡通道判别器中用于训练两个判别器:其中Df,Dd分别为正面化通道和去遮挡通道的判别器,CP‑GAN旨在通过生成器和判别器之间的对抗训练来生成逼真的图像, 和 为去遮挡通道和正面化通道的预测结果,而与 表示与两个通道预测结果所对应的真实的人脸图像。 表示 服从真实数据概率分布的期望, 表示 服从真实数据概率分布的期望。同样 表示 服从真实数据概率分布的期望, 表示 服从真实数据概率分布的期望;

F2、然后将合成图片与数据库中对应的真实图片进行像素级损失Lpixel、人脸身份损失和对称损失Lsym的计算,其具体公式为:其中,W,H为图形的长和高, 为包括正面化通道和去遮挡通道生成器输出的结果,为数据库中对应的真实目标图片,||·||1表示L1损失,ψ(·)为预训练好的人脸识别模型,||·||2表示2损失,ψpool和ψfc分别表示人脸识别模型的最后一个池化层和全连接层的输出。

9.根据权利要求8所述的一种协作渐进生成对抗网络的人脸正面图像合成方法,其特征在于,将上述四种损失进行相加操作,得到最终的图像合成损失Ltotal,具体包括:通过将遮挡检测网络以及双通道生成对抗网络整个到一个统一的网络框架中,一个协作渐进的双通道生成对抗网络因此形成,其参数可以通过Ltotal进行优化:Ltotal=λ1Ldis+λ2LDet+λ3Lpixel+λ4Lid+λ5Lsym             (15)其中,λ1,λ2,λ3,λ4和λ5表示总的损失函数中的超参数。