利索能及
我要发布
收藏
专利号: 2018114870677
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多任务全卷积神经网络的人脸网纹污迹去除方法,其特征在于,包含以下步骤:

1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集,基于该无网纹图像数据,利用随机算法生成样式多样的网纹,通过通道融合,叠加到无网纹图像上,得到有网纹图像集,同时将对应的网纹二值化得到网纹二值mask图像,将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集;

2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块,N1为模型的输入大小,并将三类图像的图像块作为一组,存储为HDF5格式;

3)、运用引导滤波,获取人脸网纹图像的细节层信息作为模型输入;

4)、基于TensorFlow开源深度学习框架,设计全卷积神经网络,输出残差信息与二值mask网纹判别信息;

5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失,以及预测网纹mask与真实网纹mask标签损失,训练模型;

6)、利用训练得到的模型参数,预测真实场景的测试图像,得到预测的去污图像。

2.根据权利要求1所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法,其特征在于,所述步骤1)中,获取公开的人脸数据集CelebA,将其作为真实的无网纹图像集,基于该无网纹图像数据,制作用于模型训练与评估的训练集与验证集,具体包括::采用随机算法生成具有若干宽度、若干透明度的网纹mask图像,通过通道融合进行叠加,制作网纹污染图像数据集;将网纹图像、真实图像、网纹mask图像分别保存于预先设定的文件夹下,并从三个文件夹下随机选择1500张匹配的图像对作为训练集,1000对作为验证集,构成算法所需要的数据集。

3.根据权利要求2所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法,其特征在于,所述步骤2)中,N1=64,对于训练集,每对图像随机截取500个64x64大小的图像块,将500组数据存储为一个HDF5文件,制作为模型输入的训练样本。

4.根据权利要求2所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法,其特征在于,所述步骤3)中,运用引导滤波,获取人脸网纹图像的细节层信息作为模型输入,具体包括:引导滤波定义某像素点的输出结果为:

qi=akIi+bk

其中,q为输出图像像素值,I为输入图像像素值,i、k为像素索引,a和b是当窗口中心位于k时该线性函数的不变系数,即该方法假定:q与I在以像素k为中心的窗口中存在局部线性关系,具体步骤包括:(1)通过积分图来实现的boxFilter,计算各图像各窗口的均值,其中均值包括引导图像均值meanI、原始待滤波图像均值meanP、互相关均值corrrIP及自相关均值corrI;

(2)根据均值计算相关系数参数,包括自相关方差varI,互相关协方差covIP;

vari=corrI-meanI*meanI

covIP=corrIP-meanI*meanP

(3)计算窗口线性变换参数系数a、b,ε表示调节因子,防止分母为0;

a=covIP/(vari+ε)

b=meanP-a*meanI

(4)通过boxFilter计算参数a、b的均值meana,meanb;

(5)利用参数得到引导滤波输出图像q=meana*I+meanb。

5.根据权利要求4所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法,其特征在于,所述步骤4)中,全卷积神经网络包括卷积层、批规范化层、激活函数层及残差模块,卷积层提取图像特征得到若干特征图,批规范化层克服神经网络随着深度加深而难以训练的弊病,激活函数层将线性结果做非线性映射,残差模块加快模型收敛速度、使网络更易于训练,其中激活函数层使用ReLU函数作为激活函数层,具体表达式如下:relu(x)=max(0,x);

一个残差模块由两个Conv+BN+ReLU组成,包含两条链接路径:恒等链接与残差连接。

6.根据权利要求5所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法,其特征在于,所述批规范化层具体包括:首先,在每一次迭代中的每一层输入都进行了归一化,即将输入数据的进行标准化为均值为0,方差为1的分布,如下式:其中,x(k)为输入数据的第k维,E[x(k)]表示该维度的平均值,Var[x(k)]表示该维度的方差;

第二步中设置了两个可学习的变量γ和β,然后用这两个可学习的变量去还原上一层应该学到的数据分布,使得第一步的归一化破坏掉的特征通过学习的参数γ和β去纠正从而得到真正学习的特征,保持模型的表达能力

7.根据权利要求4所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法,其特征在于,所述步骤5)中,利用成对的训练数据优化真实图像、网纹图像与残差信息的损失,以及预测网纹mask与真实网纹mask标签损失,训练模型,具体包括:(1)根据步骤2)的训练数据和验证数据以及步骤4)设计的全卷积神经网络,将数据逐个batch输入到全卷积神经网络模型;

(2)具体超参数设置如下:优化器使用Adam,batch size大小为20;训练过程中,初始学习率为0.1,在每一轮迭代完之后,学习率乘0.1,总共训练3轮,即:第一个轮,学习率为0.1,第二个轮学习率为0.01,第三个轮,学习率为0.001;

(3)训练优化的损失在于两个分支部分:真实图像输出分支与网纹判别分支,其中,真实图像输出分支,目标函数使用均方误差loss1;针对mask输出分支,使用交叉熵损失loss2,两者采用1:1的比例相加得到最后需要优化的损失函数loss,具体公式如:其中,N为训练图片数量,f(·)为卷积神经网络,W,b为网络要学习的参数,除了两个分支上的权重不同以外,其余权重两个分支权重共享,Xi,detail表示为第i张图片的细节层,通过引导滤波所得;

模型的损失函数:

loss=loss1+loss2。