利索能及
我要发布
收藏
专利号: 2019107253263
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于拉普拉斯金字塔网络的图像超分辨率重建方法,其特征在于,包括如下步骤:(S1)对生成器网络和判别器网络进行初始化;

(S2)通过多张低分辨率图像依次对所述生成器网络和所述判别器网络进行优化,得到训练后的生成器网络;

(S3)通过训练后的生成器网络,将待重建的低分辨率图像重建为高分辨率图像;

步骤(S2)中,通过多张低分辨率图像对所述生成器网络和所述判别器网络进行优化,具体包括:将所述多张低分辨率图像依次输入所述生成器网络中,每输入一张低分辨图像,进行如下操作:(S21)生成器网络将输入的低分辨率图像重建成对应的高分辨率图像,并输出至判别器网络中;

(S22)判别器网络基于当前的判别器网络来辨别输入的高分辨率图像是取自真实图像还是由生成器网络“伪造”的重建图像;

(S23)基于当前的生成器网络、当前的判别器网络和所述判别器网络的辨别结果计算总损失函数;

(S24)根据所述总损失函数优化当前的生成器网络和当前的判别器网络,得到新的生成器网络和新的判别器网络;

所述生成器网络包括N级,如果输入的低分辨率图像是下采样1/S倍的低分辨率图像,S是上采样比例因子,则N=log2S;每一级将前级输出的图像重建为该级的高分辨率的图像,且每一级的重建过程包括:(a)使用卷积层将前级输出的图像转换为第一高维特征图,其中将输入所述生成器网络的低分辨率图像作为第一级的输入;

(b)把所述第一高维特征图输入到堆叠了多个长短跳跃连接的网络中,以过滤低频信息得到高频信息,对得到的高频信息进行学习并输出更加精细的第二高维特征图;

(c)将所述第一高维特征图和所述第二高维特征图的特征通道融合一起形成并输出第三高维特征图;

(d)把所述第三高维特征图通过亚像素卷积层进行上采样,得到第四高维特征图;

(e)通过一个卷积层和亚像素上采样直接从前级输出的图像中学习得到低频信息特征图;

(f)把所述第四高维特征图的特征通道通过一个卷积层转换成与正常图像相同的通道数,并使转换后的第四高维特征图与步骤(e)得到的低频信息特征图进行逐元素相加得到该级重建的高分辨率图像。

2.根据权利要求1所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法,其特征在于,步骤(S2)中所述多张低分辨率图像为未预定义上采样算子的多张低分辨率图像。

3.根据权利要求1所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法,其特征在于,所述判别器网络使用VGG19网络。

4.根据权利要求1所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法,其特征在于,步骤(S23)中,所述总损失函数L表示为:L=αLCGAN(G,D)+βLC+γLVGG,

其中,LCGAN、LC和LVGG分别是CGAN损失函数、Charbonnier损失函数和VGG损失函数;α,β和γ分别是LCGAN、LC和LVGG的权衡参数;G和D分别表示所述生成器网络和所述判别器网络;

表示在优化生成器网络G时使目标函数的值尽可能的达到最小; 表示在优化判别器网络D时使目标函数的值尽可能的达到最大;G(x)表示将低分辨率图像x输入到G网络中得到重建图像 y表示真实高分辨率图像;D(y,G(x))表示把y作为条件变量指导判别器计算重建图像来自于G(x)而不是来自于真实高分辨率图像y的概率;D(y,y)表示把y作为条件变量指导判别器计算真实高分辨率图像y是来自于真实高分辨率图像y而不是来自于G(x)的概率;Ey表示logD(y,y)的期望值;Ex,y表示log(1‑D(y,G(x))的期望值;ε表示常数项;

yl和 分别表示第l级的真实高分辨率图像和重建的高分辨率图像;φi,j(·)x,y表示在VGG19网络第i层中的第j个卷积在激活之后获得的特征图,其中W和H表示对应特征图的宽和高。

5.根据权利要求4所述的基于拉普拉斯金字塔网络的图像超分辨率重建方法,其特征‑3在于,ε=10 。