利索能及
我要发布
收藏
专利号: 2020100303654
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度特征融合的人脸图像语义修复方法,其特征在于,包括如下步骤:(1)收集待处理的人脸图像组成训练集,对训练集人脸图像进行预处理尺寸裁剪,得到待训练人脸图像集;

(2)构建生成对抗网络模型,使用预训练模型的参数作为网络的初始化参数;

(3)将待训练缺失人脸图像集输入到生成网络G中,通过判别网络D判断生成网络修复人脸图像;

(4)将判别结果反作用于生成网络,进行对抗训练,优化生成网络和判别网络的网络参数,当损失函数收敛时结束训练,并保存训练完成时的模型参数;

(5)将待修复的人脸图像输入到训练好的生成网络模型中,完成人脸图像修复。

2.根据权利要求1所述的基于多尺度特征融合的人脸图像语义修复方法,其特征在于,所述步骤(1)还包括:

(1.1)将训练集人脸图像x裁剪为设定尺寸大小n*n的人脸图像x′,n为整数;

(1.2)对待训练人脸图像x'添加随机尺寸的掩膜得到待训练缺失人脸图像集,具体包括:对待训练人脸图像随机添加掩膜,得到缺失部分尺寸不一的待训练缺失人脸图像集;掩膜M中遮挡部分值为0,不遮挡部分值为0,则待训练缺失人脸图像可表示为x″=M*x′。

3.根据权利要求1所述的基于多尺度特征融合的人脸图像语义修复方法,其特征在于,步骤(2)所述生成对抗网络由生成网络G和判别网络D两个深度卷积神经网络组成,生成网络G还包括:

(2.1)生成网络G由卷积层、六组卷积下采样单元、抑制增强单元、四组空洞卷积单元、四组卷积层、六组卷积上采样单元、两组卷积层连接组成;

(2.1.1)卷积下采样单元由三组1*1卷积、3*3卷积连接组成,第一组1*1卷积输出和卷积下采样单元的输入进行concatenate连接实现特征融合,第一组卷积下采样单元中输入和第二组1*1卷积输出进行跳跃连接,第二至六组卷积下采样单元中第二组3*3卷积输出和上一组卷积下采样单元中第二组1*1卷积输出进行跳跃连接。抑制增强单元由全局池化、全连接层、ReLU()激活函数、全连接层、Sigmoid()激活函数连接组成的输出和抑制增强单元输入concatenate连接组成;

(2.1.2)空洞卷积模块由1*1卷积和空洞卷积连接组成,空洞卷积采取的扩张率分别为

2、4、8、16;

(2.1.3)卷积上采样单元由1*1卷积、反卷积、自注意力特征模块、1*1卷积、3*3卷积连接组成,卷积上采样单元输入由上一卷积输出和对应卷积下采样单元中第二组3*3卷积输出进行concatenate连接得到,自注意力特征单元由对应下采样卷积单元第二组3*3卷积输出进行1*1卷积后得到的特征图与自注意力特征单元的输入进行1*1卷积得到的特征图进行跳跃连接得到的输出和ReLU()激活函数、1*1卷积、Sigmoid()激活函数连接得到的输出与自注意力特征单元输入相乘结果作为自注意力特征单元的输出;

(2.1.4)卷积层后使用批归一化和激活函数ReLU(),最后一层卷积层后使用Sigmoid()激活函数;

(2.2)判别网络D由全局判别网络D1和局部判别网络D2共同组成,全局判别网络D1判断生成网络修复后的完整人脸图像是否为真,局部判别网络D2判断生成网络G修复的缺失图像块是否为真实的图像块,分别由五组卷积层、Flatten()、全连接层连接组成,卷积层后使用批归一化和激活函数ReLU();

(2.3)使用预训练模型的参数具体包括:对生成对抗网络进行预训练:随机初始化生成对抗网络的模型参数,对生成对抗网络进行训练并保存每次训练完成时的模型参数,训练一定次数之后,随机选取该批次中的模型参数作为重新训练的初始化参数。

4.根据权利要求1所述的基于多尺度特征融合的人脸图像语义修复方法,其特征在于,步骤(3)具体还包括:

将缺失的待训练人脸图像集输入到生成网络G中,输出得到生成网络修复的人脸图像,将生成结果输入到判别网络中,得到判别结果;

生成网络G通过模拟待训练人脸图像集中的数据分布来生成修复后的人脸图像;判别网络D判断输入到判别网络中的图片是来自真实数据分布pdata或生成网络G生成的分布,步骤(4)中网络训练时将判别结果反作用于生成网络G;通过不断的迭代优化,当判别结果趋近于0.5时,生成对抗网络达到目标;生成对抗网络的目标函数为:V(D,G)是生成对抗网络待优化的目标函数,x′待训练人脸图像,x″为待训练缺失人脸图像,D(x′)表示判别网络D判定训练人脸图像x′为真的概率;G(x″)表示生成网络输入为x″时生成的修复后的人脸图像;D(G(x″))表示判别网络判断生成网络生成的修复后的人脸图像为真概率。

5.根据权利要求1所述的基于多尺度特征融合的人脸图像语义修复方法,其特征在于,步骤(4)具体还包括:

(4.1)固定判别网络D参数,将待训练缺失人脸图像集输入到生成网络G中,生成修复后的人脸图像,将lG作为生成网络的损失函数,使用Adam优化器opt1优化生成网络参数,网络迭代训练a次;

x′为真实人脸图像,x″为缺失人脸图像,h、w、r为图像的长、宽、通道数,G(ILR(x,y))为生成器重建后的图像;

(4.2)固定生成网络G参数,将缺失人脸图像训练集输入到生成网络G中得到修复后的人脸图像,使用全局判别网络D1判断修复后的完整人脸图像是否为真,使用局部判别网络D2判断修复后的缺失图像块是否为真;将交叉熵损失函数作为判别网络的损失函数lD,使用Adam优化器opt2优化判别网络参数,网络迭代训练b次;

(4.3)固定生成网络参数,将缺失人脸图像输入到生成网络G中得到修复后的人脸图像,使用交叉熵损失函数作为判别网络的损失函数,使用Adam优化器opt2优化判别网络参数;

(4.4)固定判别网络参数,将缺失人脸图像输入到生成网络G中得到修复后的人脸图像,生成网络的损失函数为lG,使用Adam优化器opt1优化生成网络参数;

(4.5)重复步骤(4.3)、(4.4),交替训练判别网络和生成网络,随着训练周期的加长动态调整生成网络和判别网络的学习率,直到损失函数收敛停止训练,得到网络模型参数并保存。

6.根据权利要求1所述的基于多尺度特征融合的人脸图像语义修复方法,其特征在于,步骤(5)还包括:

从步骤(4)中训练得到的网络参数,固定生成网络参数,将有缺失的需要修复的人脸图像输入到生成网络G中,即可生成修复后的人脸图像。