1.基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,具体操作过程包括如下步骤:步骤1,从光场原始图像获得光场的重聚焦图像,并将其分为测试集数据和训练集数据;
步骤2,使用tensorflow搭建生成对抗网络模型,通过训练集数据训练生成对抗网络模型,通过测试集数据验证模型;
步骤3,使用训练好的生成对抗网络模型进行光场轴向重聚焦图像的超分辨。
2.如权利要求1所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,所述步骤1的具体过程如下:步骤1.1,从光场相机中提取到光场的原始图像文件,对拍摄的原始光场图像进行解析分别得到光场图像的微透镜的中心坐标文件、光场图像文件和与之匹配的光场白图像;
步骤1.2,使用光场重聚焦对解析后的光场图像进行重聚焦操作:
读取解码后的光场文件,L(u,v,s,t)为采集到的光场,U和S分别表示主镜头孔径所在平面和微透镜阵列所在平面,两个平面之间的距离为,新的对焦平面为S′;其中,(u,v)和(s,t)分别表示U和S平面上的点,图中s′表示从U平面发出的一条光线在S′上的位置;令l′=α*l,S′面所成的像等于US′之间光场的积分,如式(1)所示:I(s′)=∫L′(u,s′)du (1)
通过公式(1)得到某一深度下光场图像重聚焦的结果;
令光场重聚焦的相对深度为[A,B],其中A,B为光场的相对深度距离,每次相对深度l′增加量为Δt,则有N=(B-A)/Δt,N为光场重聚焦得到不同相对深度下的重聚焦图像个数,通过式(1)得到不同深度下的光场重聚焦图像。
3.如权利要求2所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,将步骤1.2得到的光场重聚焦图像偶数位的图像作为测试数据集,将奇数位的图像作为训练数据集。
4.如权利要求1所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,所述步骤2中建立生成对抗网络模型的过程为:使用tensorflow搭建生成至少3个网络模块和一个判别网络模块,其中两个生成网络分别学习连续3帧图像,剩余的生成网络学习其他生成网络的输出结果,最终生成图像,传给判别网络进行对抗学习。
5.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,所述用于分别学习连续3帧图像的生成网络的图像序列相差1。
6.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,每一个生成网络的结构相同,所述生成网络的搭建过程如下:将输入的连续3帧图像在第三维度进行合并,得到9通道的图像矩阵作为卷积的输入,第一层卷积网络的卷积核大小为9*9,输出通道为64,卷积步长为1,记为9*9*64*1;第二层卷积网络和第三层卷积网络均为3*3*64*1;将第二层卷积网络和第三层卷积网络的输出结果在第三维度上合并作为第四层卷积网络的输入,第四层卷积网络至第七层卷积网络均为
3*3*64,将第四层卷积网络至第七层卷积网络的输出结果与第二层卷积网络和第三层卷积网络同样处理,则第8层卷积网络参数也为3*3*64*1,将第8层卷积网络的输出与第一层卷积网络的输出结果在第三维度上进行合并,作为第9层网络的输入,第9层卷积网络的参数为3*3*256*1,第十层卷积网络的参数为9*9*3*1;
其中,第一层卷积网络至第9层卷积网络的输出结果用relu激活函数进行激活,第二层卷积网络至第八层卷积网络输出在激活的同时进行批量归一化处理。
7.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,所述判别网络的搭建过程如下:搭建8层的卷积神经网络,所有网络的卷积核大小为3*3,激活函数为relu;第一层卷积网络和第二层卷积网络的输出的通道数为64,卷积的步长分别为1和2;第三层卷积网络和第四层卷积网络输出的通道数为128,卷积步长分别为1和2;第五层卷积网络和第六层卷积网络的输出通道数为256,卷积步长分别为1和2;第七层卷积网络和第八层卷积网络的输出通道数为512,卷积步长分别为1和2;最后将得到的数据reshape成一维向量,进行真假判别;其中,第二层卷积网络至第八层卷积网络都要进行归一化。
8.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,所述步骤2中训练生成对抗网络模型的过程如下:定义损失函数如式(2)所示:
其中, 为内容损失,包括MSE损失 和VGG损失 分别如公式3和公式4所
示; 为对抗损失,如式(5)所示:
式3中,W和H表示图像的宽度和高度, 表示真值图像的x,y位置,LLR表示输入三帧图LR LR像在图像第三维度的合成矩阵,GθG(L )x,y表示将L 经过生成网络模块最终输出图像的x,y位置;
式4中,VGG/i,j表示VGG的第i层卷积,第j个maxpooling的网络输出结果,W和H表示图像的宽度和高度, 表示将真值图像在VGG网络中进行特征提取,提取第i层卷积第j个Maxpooling层网络的输出结果进行VGG的损失计算;
式5中,GθG(ILR)表示生成网络最终的输出结果,DθD(GθG(ILR))表示将生成网络的输出结果在判别网络中得到的运算结果,N表示图像的个数;
通过步骤1的训练集数据训练网络,训练过程中因为生成网络要生成的结果尽可能的LR逼真,因此要最小化误差↓GθG(I ),而判别网络需要尽可能识别网络的真假,因此要最大化误差↑DθD(GθG(ILR)),使用随机梯度下降法对损失函数进行优化,当判别网络已经接近无法判断生成网络得到图像的真假时,也即生成损失曲线已经平稳不发生改变时,此时网络已经训练完成;
通过测试集数据作为生成网络的输入,带入到训练好的模型,输出结果即为验证模型。
9.如权利要求4所述的基于生成对抗网络的光场轴向重聚焦图像超分辨方法,其特征在于,所述步骤3的具体过程如下:将步骤1得到重聚焦图像记为重聚焦图像序列为{I1,I2,…In},将连续的3帧图像作为一组,分别作为生成网络输入,代入步骤2的模型中,判别网络每一组输出中间位置图像的中间值,实现重聚焦图像的超分辨。