利索能及
我要发布
收藏
专利号: 2019109993309
申请人: 东华理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多重残差网络和正则化迁移学习的图像着色方法,其特征在于,所述方法包括:制作灰度图像数据集;

将所述灰度图像数据集中的灰度图像输入到灰度图像着色网络中,利用所述灰度图像着色网络中的基于多重残差网络构造的图像特征提取模块提取图像特征;

基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块,并利用图像语义特征提取模块提取图像语义特征;

将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合,获得所述灰度图像的融合特征;

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色,获得新的彩色图像;

所述图像特征提取模块包括:一个7*7的卷积层和5个残差单元;所述残差单元的公式为:其中,xl+1为第l+1残差单元的输出,xl为第l+1层残差单元的输入,f为激活函数;

所述基于正则化迁移学习框架训练所述灰度图像着色网络中的图像语义特征提取模块,并利用图像语义特征提取模块提取图像语义特征,具体包括:采用拉普拉斯算子对所述灰度图像进行锐化处理,获得锐化图像;

将所述锐化图像输入到所述正则化迁移学习框架,对灰度图像着色网络中的图像语义特征提取模块进行训练,获得图像语义特征;

所述将所述锐化图像输入到所述正则化迁移学习框架,对灰度图像着色网络中的图像语义特征提取模块进行训练,获得图像语义特征,具体包括:将所述锐化图像分别输入正则化迁移学习框架中的源网络和目标网络,分别提取源网络和目标网络各卷积层输出的特征图;

确定源网络和目标网络各层卷积层输出特征图的欧几里德距离;

根据所述源网络和目标网络特征图的欧几里德距离确定正则化损失函数;

根据所述正则化损失函数确定所述图像语义特征提取模块的损失函数;

根据所述图像语义特征提取模块的损失函数进行训练,获得图像语义特征;

将所述图像特征和所述图像语义特征输入到所述灰度图像着色网络中的图像融合模块进行融合,获得所述灰度图像的融合特征,具体公式为:Semantic

其中, 为坐标(u,v)处的图像特征,是一个256维的向量,y 为图像语义特征,也是一个256维的向量,wf为256*512矩阵,b为256维偏置向量,σ是一个非线性传递函数;

将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块进行着色,获得新的彩色图像,具体包括:将所述灰度图像的融合特征输入到所述灰度图像着色网络中的基于多重残差网络构造的图像着色模块,预测出图像在Lab颜色模型中的a、b通道;

基于预测的a、b通道确定残差网络的损失函数;

根据所述残差网络的损失函数进行训练,并与所述灰度图像结合,获得彩色图片。

2.根据权利要求1所述的图像着色方法,其特征在于,所述制作灰度图像数据集,具体包括:获取彩色图像数据集;所述彩色图像数据集包括多张彩色图像;

对所述彩色图像数据集依次进行旋转、随机裁剪和数据增强处理,获得彩色图像增强数据集;

对所述彩色图像增强数据集进行灰度化处理,得到灰度图像数据集。

3.根据权利要求1所述的图像着色方法,其特征在于,所述正则化损失函数的具体公式为:* *

其中,Ω′(ω,ω ,xi,yi,z)为正则化损失函数,Wj(z,ω ,xi,yi)为指分配给第j个滤波器和第i个图像的权重,z为图像语义特征提取模块,(xi,yi)为第i组图像和标签,ω为目标*网络的参数向量集,ω为ω的初始值,FMj(z,ω,xi)为第j个滤波器在参数集ω时提取的特* *征图,FMj(z,ω ,xi)为第j个滤波器在参数集ω时提取的特征图, 为欧几里得距离,即为两个特征映射之间的行为差异。

4.根据权利要求1所述的图像着色方法,其特征在于,所述图像语义特征提取模块的损失函数,具体公式为:其中,N为一个批次样本数量,yi为样本真实分类标签, 为样本预测分类标签,Ω′*(ω,ω ,xi,yi,z)为正则化损失函数。

5.根据权利要求1所述的图像着色方法,其特征在于,所述残差网络的损失函数,具体公式为:2

其中,N为一个批次样本数量,X为预测的a、b通道,X′为真实样本的a、b通道,|| ||为均方差,α为正则化系数, 为正则化项,ωcolor为整个残差网络的权重。