1.一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:将需要重建的单张低分辨率图像输入至预先训练好的条件生成对抗网络模型中,进行超分辨率重建,得到重建的高分辨率图像;
所述条件生成对抗网络模型的学习步骤包括:
将高低分辨率训练集输入到条件生成对抗网络模型中,并使用预先训练好的模型参数作为该次训练的初始化参数,通过损失函数来判断整个网络的收敛情况,当损失函数收敛时,得到最终训练好的条件生成对抗网络模型,并保存模型参数。
2.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:所述训练集的构成包括:
采用双三次插值方法对高分辨率训练图像进行下采样,得到低分辨率图像;
对每张高分辨率训练图像和低分辨率图像进行随机剪裁得到高分辨率训练图像块和与高分辨率训练图像块对应比例大小的低分辨率训练图像块;
高分辨率训练图像块和低分辨率训练图像块构成训练集。
3.根据权利要求2所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:所述随机剪裁为在图像上随机裁剪不重合的一个或多个图像块。
4.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:所述条件生成对抗网络模型包括生成器网络模型和判别器网络模型;所述生成器网络模型,用于输入低分辨率图像,生成趋近于原始真实图像的超分辨率图像;所述判别器网络模型的判别条件是原始真实图像,在基于原始真实图像的条件下,用于区分原始真实图像和超分辨率图像;
所述条件生成对抗网络模型的对抗过程用如下目标函数表示:
其中,G表示生成器网络模型,D表示判别器网络模型,E表示期望,y表示原始真实图像,x表示低分辨率图像,G(x)表示生成器网络模型G生成的超分辨率图像,D(y,y)表示在原始真实图像y的条件下,判断当输入图像为原始真实图像y时的真伪,D(y,G(x))表示在原始真实图像y的条件下,判断当输入图像为生成器网络模型G生成的超分辨率图像G(x)时的真伪。
5.根据权利要求4所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:所述生成器网络模型包括浅层特征学习模块、深度残差学习模块、亚像素上采样模块、重建模块和全局特征学习层;
所述浅层特征学习模块将输入的低分辨率图像进行卷积特征提取,学习图像的低频信息;
所述深度残差学习模块用于特征学习,提取高频信息,该深度残差学习模块是由多个残差块组成,采用的残差块为去掉原始残差块中的批归一化层,并在每个残差块的末端添加一个常数层;
所述全局特征学习层是把浅层特征层提取的特征图与深度残差学习模块所得的特征图相加,相加结果作为亚像素上采样模块的输入;
所述的亚像素上采样模块,由一个卷积操作和亚像素上采样操作组成,在生成器网络的末端,串联两个亚像素上采样模块,实现指定的图像放大倍数;
所述的重建模块是由一个卷积操作来实现,把高维的特征图重建到含有三个通道的RGB图像,实现超分辨率图片重建。
6.根据权利要求5所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:所述常数层的常数为0.1至0.5之间的小数。
7.根据权利要求5所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:在每个卷积操作中,用补零的方式来保持所有特征图的大小相同,在每个所述卷积层后采用PRelu非线性函数激活,最后一个卷积层的非线性激活函数是tanh。
8.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:所述损失函数包括生成器网络的损失函数;生成器网络的损失函数包括内容损失和对抗损失,其中,内容损失包括MSE均方误差损失 VGG网络损失 梯度损失 和L1范数损失,对抗损失所述生成器网络的损失函数表示如下:
其中,
其中,r表示放大因子,W、H是生成器网络模型G生成的超分辨率图像G(x)的尺寸大小,x表示低分辨率图像,G(x)表示生成器网络模型G生成的超分辨率图像,y为是原始真实图像;
VGG损失定义为生成器网络模型G生成的超分辨率图像G(x)和原始真实图像y的特征表示之间的欧氏距离:φ5,4表示在VGG网络中的第5个最大层数之前通过第4个卷积获得的特征图;
梯度损失的定义为:
基于全变差的正则项以鼓励产生具有空间相似性的结果。
9.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法,其特征在于:对条件生成对抗网络模型进行预训练包括:
采用随机初始化的方法训练条件生成对抗网络模型,保存每一个训练批次的模型参数结果;
训练若干次后停止训练;
从训练好的模型参数中随机选择一个批次的模型参数,用该模型参数作为再次训练网络的初始化参数。