1.一种光场图像角度重建方法,包括以下步骤:(1)将低角度分辨率光场子孔径图像阵列从RGB空间转换到YUV空间,并提取所述低角度分辨率光场子孔径图像阵列的Y通道信息;
(2)将获取的所述低角度分辨率光场子孔径图像阵列Y通道信息送入到特征融合重建网络,获得粗的高角度分辨率光场子孔径图像阵列Y通道信息;
(3)将获取的所述粗高角度分辨率光场子孔径图像阵列Y通道信息送入到空间角度特征融合网络,获得融合后的高角度分辨率光场子孔径图像阵列Y通道信息;
(4)将步骤(3)获得的融合后的高角度分辨率光场子孔径图像阵列Y通道信息送入到细节融合修复网络,获得细的高角度分辨率光场子孔径图像阵列Y通道信息;
(5)将步骤(3)获得的融合后的高角度分辨率光场子孔径图像阵列Y通道信息与步骤(4)获得的细的高角度分辨率光场子孔径图像阵列Y通道信息相加获得最终高角度分辨率光场子孔径图像阵列。并对低角度分辨率光场子孔径图像阵列的U和V通道信息进行双线性上采样处理,获得最终高角度分辨率光场子孔径图像阵列的U和V通道信息;
(6)将所述最终高角度分辨率光场子孔径图像阵列Y通道信息与最终高角度分辨率光场子孔径图像阵列U和V通道信息进行合并,并将合并后的数据转化到RGB空间,获得最终高角度分辨率光场子孔径图像阵列。
2.如权利要求1所述的光场图像角度重建方法,其特征在于:所述步骤(1)具体计算过程如下:
从光场图像中提取低角度分辨率光场子孔径阵列图像I,其维度为3×m×n×w×h,其中m×n为低角度分辨率光场子孔径阵列图像I中子孔径图像的角度分辨率,w×h为低角度分辨率光场子孔径阵列图像I中单个子孔径图像的空间分辨率,3为RGB三个通道。首先将所述的低角度分辨率光场子孔径阵列图像I从RGB空间转换到YUV空间。然后提取所述YUV空间的Y通道信息IY,其维度为1×m×n×w×h。
3.如权利要求1所述的光场图像角度重建方法,其特征在于:所述步骤(2)具体计算过程如下:
首先对步骤(1)获取的低角度分辨率光场子孔径阵列图像Y通道信息IY进行降低维度处理,将所述低角度分辨率光场子孔径阵列图像Y通道信息IY的两个角度维度m与n进行合并,获得四维低角度分辨率光场子孔径阵列图像Γ,其维度为1×(m×n)×w×h。然后将所述的四维低角度分辨率光场子孔径阵列图像Γ输入到特征融合重建网络,获得粗的高角度分辨率光场子孔径阵列图像Y通道信息,其维度为1×(M×N)×w×h,其中(M×N)为超分辨后高角度分辨率光场子孔径阵列图像的角度分辨率。所述特征融合重建网络共有4×log2(m·n)层,包含2×log2(m·n)个卷积层以及2×log2(m·n)个LeakyReLU激励层,其中所述三维卷层的卷积核大小分别为2×1×1,2×3×3,3×3×3,3×3×3步长分别为2×1×1,2×1×
1,1×1×1,1×1×1填充值分别为0,0×1×1,1,1。
4.如权利要求1所述的光场图像角度率重建方法,其特征在于:所述步骤(3)具体计算过程如下:
首先将步骤(2)获取的粗的高角度分辨率光场子孔径阵列图像Y通道信息输入到空间角度融合网络,获得融合后的高角度分辨率的子孔径阵列图像Y通道信息,其维度为1×(M×N)×w×h。所述空间角度融合网络包括两个模块,分别为特征提取模块以及空间角度融合网络模块。其中,特征提取模块包含层log2(m·n),所用卷积核大小分别为3×3与8×8,步长为分别1,0,填充值为0。所述空间角度融合网络模块共有6×log2(m·n)+1层,包含包含3×log2(m·n)个卷积层,3×log2(m·n)个LeakyReLU激励层以及一个sum层。其中,所述卷积层的卷积核分别为5×3×3,4×3×3,3×3×3,步长分别为4×1×1,4×1×1,3×1×
1,填充值为0×1×1。最后一层为sum层,是将所述统一维度的log2(m·n)个高维特征向量进行相加,获得相加后的高维特征向量。
5.如权利要求1所述的光场图像角度重建方法,其特征在于:所述步骤(4)具体计算过程如下:
将步骤(3)获取的融合后的高角度分辨率的子孔径阵列图像送入到细节融合修复网络,获得细的高角度分辨率光场子孔径图像阵列Y通道信息,其维度为1×(M×N)×w×h。所述细节融合修复网络共有2×log2(m·n)+1层,包含log2(m·n)+1个卷积层以及log2(m·n)个LeakyReLU激励层,其中所述卷积层的卷积核大小分别为5×3×3,4×3×3,3×3×3,步长分别为4×1×1,4×1×1,3×1×1,填充值为0×1×1。