利索能及
我要发布
收藏
专利号: 2021107499735
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像生成方法,其特征在于,所述方法包括:获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像;

对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合,得到待优化融合图像;

将所述待优化融合图像输入至预先训练的生成器网络,得到所述生成器网络输出的目标融合图像;其中,所述生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络,所述判别器网络用于对融合图像细节信息的约束,所述身份一致网络用于对身份一致性的约束。

2.根据权利要求1所述的方法,其特征在于,所述目标遮挡物图像为:从与所述目标未遮挡人脸图像相匹配的遮挡人脸图像中获取的。

3.根据权利要求2所述的方法,其特征在于,所述获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像,包括:获取待融合的目标未遮挡人脸图像,以及多个包含目标遮挡物的遮挡人脸图像;

基于人脸姿态和/或人脸属性,从所述多个遮挡人脸图像中,确定与所述目标未遮挡人脸图像相匹配的遮挡人脸图像,作为目标遮挡人脸图像;

获取所述目标遮挡人脸图像中的目标遮挡物图像。

4.根据权利要求3所述的方法,其特征在于,所述获取所述目标遮挡人脸图像中的目标遮挡物图像,包括:

基于图像分割算法,从所述目标遮挡人脸图像中提取所述目标遮挡物所占区域的图像,作为待处理遮挡物图像;

对所述待处理遮挡物图像进行高斯模糊处理,得到目标遮挡物图像。

5.根据权利要求2所述的方法,其特征在于,所述对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合,得到待优化融合图像,包括:获取所述目标未遮挡人脸图像中的人脸关键点,以及所述目标遮挡物图像中的人脸关键点;

计算所述目标未遮挡人脸图像中的人脸关键点,与所述目标遮挡物图像中的人脸关键点之间的仿射变换参数;

基于所述仿射变换参数,对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合,得到待优化融合图像。

6.根据权利要求5所述的方法,其特征在于,所述基于所述仿射变换参数,对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合,得到待优化融合图像,包括:基于所述仿射变换参数,按照预设公式,对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合,得到待优化融合图像;

其中,所述预设公式为:

Amix表示所述待优化融合图像,T表示所述仿射变换参数,α表示预设融合系数,G[Ic]表示所述目标遮挡物图像,Io表示所述与所述目标未遮挡人脸图像相匹配的遮挡人脸图像,I表示所述目标未遮挡人脸图像。

7.根据权利要求1所述的方法,其特征在于,所述生成器网络采用如下步骤训练获得:获得未遮挡人脸样本图像、目标遮挡物样本图像及包含目标遮挡物的遮挡人脸样本图像;

将所述未遮挡人脸样本图像和目标遮挡物样本图像进行融合,得到待优化融合样本图像;

将所述待优化融合样本图像输入待训练的生成器网络,获得目标融合样本图像;

将所述目标融合样本图像和所述未遮挡人脸样本图像,输入预先训练的身份一致网络,得到用于确定所述目标融合样本图像和所述未遮挡人脸样本图像中人脸的身份是否一致的特征图;

将所述目标融合样本图像和所述包含目标遮挡物的遮挡人脸样本图像,输入待训练的判别器网络,得到所述目标融合样本图像为真实图像的概率,以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率;

基于所述目标融合样本图像和所述未遮挡人脸样本图像各自对应的特征图,计算所述身份一致网络的特征损失值;

基于所述目标融合样本图像为真实图像的概率,以及所述包含目标遮挡物的遮挡人脸样本图像为真实图像的概率,计算所述判别器网络的损失值;

基于所述目标融合样本图像与所述待优化融合样本图像之间的差异,计算所述生成器网络的损失值;

基于总损失值调整所述生成器网络和判别器网络的网络参数,继续训练,直到所述生成器网络和判别器网络收敛;其中,所述总损失值为基于所述生成器网络的损失值、判别器网络的损失值和身份一致网络的特征损失值确定的。

8.根据权利要求7所述的方法,其特征在于,所述基于所述目标融合样本图像和所述未遮挡人脸样本图像各自对应的特征图,计算所述身份一致网络的特征损失值,包括:针对每一预设通道,计算所述目标融合样本图像和所述未遮挡人脸样本图像在该预设通道对应的特征图之间的距离;

计算各个预设通道对应的距离的平均值,作为所述身份一致网络的特征损失值;

所述基于所述目标融合样本图像与所述待优化融合样本图像之间的差异,计算所述生成器网络的损失值,包括:

基于所述目标融合样本图像与所述待优化融合样本图像之间的距离,和/或所述目标融合样本图像与所述待优化融合样本图像的全变分的差值,计算所述生成器网络的损失值。

9.根据权利要求7所述的方法,其特征在于,所述总损失值为:L=Lgan+γLre+μLip其中,L表示所述总损失值,Lgan表示所述判别器网络的损失值,Lre表示所述生成器网络的损失值,Lip表示所述身份一致网络的特征损失值,γ表示第一预设系数,μ表示第二预设系数。

10.一种图像生成装置,其特征在于,所述装置包括:图像获取模块,用于获取待融合的目标未遮挡人脸图像和对应的目标遮挡物图像;

图像融合模块,用于对所述目标未遮挡人脸图像和所述目标遮挡物图像进行融合,得到待优化融合图像;

图像生成模块,用于将所述待优化融合图像输入至预先训练的生成器网络,得到所述生成器网络输出的目标融合图像;其中,所述生成器网络属于基于判别器网络和身份一致网络进行训练获得的生成式对抗网络,所述判别器网络用于对融合图像细节信息的约束,所述身份一致网络用于对身份一致性的约束。