1.一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,具体按照以下步骤实施:步骤1,收集整理真实图像数据,形成真实图像数据样本集,将收集到的图像处理成尺寸相同的图像,将处理后的尺寸相同的图像组成训练数据集;
步骤2,构建生成式对抗网络模型,生成式对抗网络模型包括生成器和判别器;
步骤3,将步骤1组成的训练数据集中的每一张低分辨率图像打上大小相同的掩膜,得到待修复图像,将待修复图像导入步骤2构建的生成式对抗网络模型,并采用弱监督学习方式对生成式对抗网络模型进行训练,得到训练后图像,在训练过程中对生成器和VDB判别器的权重进行更新,利用对抗损失、内容损失、感知损失及重建损失进行系统损失计算;
步骤4,将步骤3得到的训练图像输入到U‑Net生成网络中对训练后的待修复图像进行修复,输出修复好的高分辨率图像。
2.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,在步骤2中,生成式对抗网络模型的目标函数表达式为:其中,D表示判别器,G表示生成器,E表示数学期望;x~p(x)表示x服从真实图像数据样本集中的图像分布p(x);z~G(z)表示z服从图像的生成分布G(z),x为真实图像数据,z为随机噪声,D(x)表示判别器函数,D(z|x)表示真实图像数据x的条件下随机噪声z的判别函数。
3.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,在步骤2中,变分判别器瓶颈VDB对判别器目标函数为:J(D,E)=minD,EEx~p(x)[Ez~E(z|x)[‑log(D(x))]]+Ez~G(z)[Ez~E(z|x)[‑log(1‑D(z))]] (2)*
其中,D表示判别器,E表示图像信息编码后的期望,x~p (x)表示x服从生成图像数据分*布p (x);z~E(z|x)表示z服从高斯分布E(z|x),KL为散度又称相对熵信息概率分布的一种方法,r(z)为随机噪声z的特征分布,Ic为生成器生成图像数据的互信息,D(z)表示随机噪声z的判别函数,公式(3)为公式(2)的约束条件。
4.根据权利要求3所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,由 引入判别器拉格朗日优化目标函数:其中,β为拉格朗日乘子,公式(5)为公式(4)的约束条件,互信息Ic表示变量之间的相关性,用于限制真实图像数据x和随机噪声z的相关性。
5.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,步骤2中,VDB判别器是一个二分类判别器,通过生成器生成图像信息的相关性来判别真假,利用 为限制条件,限制图像数据样本的互信息,对真假图像信息进行混淆,VDB判别器的参数更新为:
其中,Ir表示真实图像数据的特征互信息,r(x)为真实图像数据的特征分布。
6.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,在步骤2中,生成器采用U‑Net生成网络,所述U‑Net生成网络由收缩路径和扩张路径组成,且收缩路径和扩张路径相互对称,所述U‑Net生成网络共包括23层卷积层,所述收缩路径上每两个3*3的卷积层后为一个2*2的最大池化层,且每个卷积层后面使用relu激活函数对训练数据集中的图像进行降采样操作,其中每一次降采样操作均会增加一杯通道数,用于获取真实图像的上下文信息,所述扩张路径上每一个2*2的卷积层后为两个3*3的卷积层,且每个卷积层后面使用relu激活函数对训练数据集中的图像进进行升采样操作,其中每一次升采样均会加入来自相对应收缩路径的特征图,经裁剪后保持形状相同。
7.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,在步骤2中,判别器采用VDB判别网络,所述VDB判别网络将生成器传输到编码器的真实图像数据映射到高斯分布上,对生成器生成图像进行分类,将信息瓶颈作用于随机噪声z。
8.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,在步骤3中,采用随机梯度下降法对生成式对抗网络模型进行参数更新,具体为:对于真实图像数据样本集{xi,yj},其损失函数为:
其中,yj∈{0,1}为xi的标签;
设训练数据集为 图像样本 输入得到对应的弱监督输出 所以
图像样本在训练数据集M上的结构化风险函数为:
其中,W和b分别表示网络中所有的权重和偏置向量; 为正则化项,用于防止图像修复模型训练时过拟合;λ是为正数的超参数,用于控制权重,λ越大,W越接近“0”,n表示第n个图像样本,N表示训练数据集的样本总数,l表示层数,m表示神经元的数量;
(l) (l)
则在梯度下降算法的迭代运算中,第l层的权重W 和偏置向量b 更新方式为:其中α为学习率,其中最佳学习率α为0.001。
9.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,在步骤3中,生成式对抗网络模型的生成器对抗损失为:LG=‑Ex~p(x)[log(1‑D(z|x))]‑Ex~G(x)[logD(z|y)] (13)其中,D(z|y)表示在真实图像数据输出的条件下随机噪声的判别函数分布;
使用1‑范数距离来衡量生成器生成图像的未破损区域和真实图像数据中未破损区域的差别:内容损失为:
其中,I表示图像损失区域,像素点的互信息;
感知损失为:
其中,CjHjWj为图像通道上的归一化处理,φj为真实图像数据中的像素点;
重建损失为:
Lpixel=||xi‑G(xi)||2 (16)系统损失函数为:
L=LG+Lij+Lpercep+Lpixel (17)。
10.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法,其特征在于,所述步骤4的具体步骤如下:步骤4.1,将步骤3得到的训练后图像输入到编码器中,并在生成器中输入随机噪声z;
步骤4.2,生成器G(z)根据输入的随机噪声z和步骤1中真实图像数据的相关信息生成图像,在图像生成过程中U‑Net生成网络根据系统损失函数生成修复好的高分辨率图像;
步骤4.3,将输入到编码器上的真实图像数据映射到高斯分布上,得到真实图像映射关系,同时生成器生成步骤4.2中修复好的高分辨率图像的映射关系,再将真实图像映射关系和修复好的高分辨率图像的映射关系输到VDB判别网络中,VDB网络将修复好的高分辨率图像信息瓶颈作用于判别器进行判断;
步骤4.4,判别器输出修复好的高分辨率图像,若修复后的高分辨率图像不满足修复好的高分辨率图像的映射关系,则返回步骤4.2,否则,输出修复好的高分辨率图像,高分辨率图像修复的迭代次数根据修复好的高分辨率图像的视觉效果进行设置。