1.基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,包括:
S1:获取待重建的目标光场图像;
S2:将目标光场图像输入训练后的空间超分辨重建模型,输出目标光场图像的空间超分辨率重建图像;
所述空间超分辨重建模型的训练步骤如下:
S201:将高分辨率的光场图像转换为低分辨率的光场图像作为训练样本,输入至空间超分辨重建模型;所述空间超分辨重建模型包括浅层特征提取网络、多维特征提取网络和上采样重建网络;
S202:所述浅层特征提取网络将模型输入的光场图像映射为浅层特征,作为多维特征提取网络的输入特征图;
S203:所述多维特征提取网络中包含有空间特征提取器、角度特征提取器和极线平面图像特征提取器,分别从输入特征图的子空间图像、宏像素图像和极线平面图像中提取空间特征、角度特征和极线平面图像特征,并融合生成光场图像的4D光场特征,作为上采样重建网络的输入;
S204:所述上采样重建网络对光场图像的4D光场特征进行上采样重建处理,生成光场图像的空间超分辨率重建图像;
S205:根据作为训练样本的光场图像的空间超分辨率重建图像与其对应的高分辨率的光场图像计算训练损失,并基于训练损失优化空间超分辨重建模型的参数;
S206:重复步骤S201至步骤S205,直至空间超分辨重建模型收敛或达到预设迭代次数;
S3:将空间超分辨重建模型输出的空间超分辨率重建图像作为目标光场图像的超分辨率重建结果。
2.根据权利要求1所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,步骤S201中,对高分辨率的光场图像进行剪裁,并使用双三次插值法将剪裁后的光场图像进行下采样处理,获得低分辨率的光场图像,作为训练样本。
3.根据权利要求1所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,步骤S203中,所述多维特征提取网络包括依次级联的若干个多维特征提取模块,每个多维特征提取模块包括顶部分支、底部分支和连接层;
其中,顶部分支包括级联的空间特征提取器和角度特征提取器,空间特征提取器用于提取输入特征图中子孔径图像的空间特征,得到的空间特征图输入至角度特征提取器用于进一步提取其宏像素图像的角度特征,得到输入特征图的多尺度空间‑角度特征图;
底部分支包括权重共享依次级联的水平极线平面图像特征提取器和垂直极线平面图像特征提取器,水平极线平面图像特征提取器用于提取输入特征图的水平极线平面图像特征,得到的水平极线平面图像特征图输入至垂直极线平面图像特征提取器用于进一步提取垂直极线平面图像特征,得到输入特征图的极线平面图像特征图;
连接层用于将得到的多尺度空间‑角度特征图和极线平面图像特征图进行拼接,并通过卷积激活单元激活处理后,再与输入特征图融合,生成光场图像的4D光场特征,作为上采样重建网络的输入。
4.根据权利要求3所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,所述空间特征提取器包括依次连接的密集卷积网络、卷积激活单元和Swin Transformer模块;
密集卷积网络包括级联的Ns个空间卷积单元,所述空间卷积单元包括级联的3×3卷积层和Leaky ReLU激活函数层;其中,空间特征提取器的输入分别作为Ns个空间卷积单元的输入,且上一空间卷积单元的输出分别作为后续空间卷积单元的输入并对Ns个空间卷积单元的输出进行拼接作为密集卷积网络的输出,该密集卷积网络的输出作为卷积激活单元的输入;
卷积激活单元包括级联的1×1卷积层和Leaky ReLU激活函数层;
Swin Transformer模块包括级联的层归一化多头注意力单元和层归一化感知单元,所述层归一化多头注意力单元包括级联的层归一化层和移动窗口多头自注意力模块,所述层归一化感知单元包括级联的层归一化层和多层感知器;其中,Swin Transformer模块的输入作为层归一化多头注意力单元的输入,层归一化多头注意力单元的输出与Swin Transformer模块的输入进行相加运算,作为层归一化感知单元的输入,层归一化感知单元的输出与层归一化感知单元的输入进行相加运算作为Swin Transformer模块的输出;
空间特征提取器中,先将光场图像的浅层特征整形转换为子孔径图像堆叠阵列,作为密集卷积网络的输入,密集卷积网络的输出作为卷积激活单元的输入,以生成作为卷积激活单元输出的多尺度空间特征图,将多尺度空间特征图作为Swin Transformer模块的输入,Swin Transformer模块的输出作为空间特征提取器的整体输出。
5.根据权利要求4所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,所述空间特征提取器的处理过程通过如下公式表示:LN D
F =LN(F);
S(W) LN D
F =SW‑MSA(F )+F;
式中,Si表示第i个密集连接的3×3空间卷积层,Conv1×1表示1×1卷积层,cat表示通道D级联,[·]表示级联,F 表示密集卷积网络和Conv1×1生成的多尺度空间特征, 表示子孔LN S(W)径图像堆叠阵列的特征,F 表示层归一化多头注意力单元中层归一化层的输出,F 表示层归一化感知单元的输入, 表示空间特征提取器的输出;SW‑MSA表示移动窗口多头自注意力模块,MLP表示多层感知器,LN表示层归一化层的正则化处理。
6.根据权利要求3所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,所述角度特征提取器包括级联的Na个角度卷积单元,所述角度卷积单元包括3×3角度卷积层和Leaky ReLU激活函数层;角度特征提取器中,将空间特征提取器的输出特征整形转换为宏像素图像堆叠阵列,作为第一个角度卷积单元的输入,第Na个角度卷积单元输出作为角度特征提取器的整体输出;所述角度特征提取器的处理过程通过如下公式表示:式中, 表示角度特征提取器的输出,Aj表示第j个3×3角度卷积层, 表示宏像素图像堆叠阵列的特征。
7.根据权利要求3所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,所述底部分支中的水平极线平面图像特征提取器和垂直极线平面图像特征提取器均为极线平面图像特征提取器,所述极线平面图像特征提取器包括并联的3个膨胀卷积单元和卷积激活单元,其中,膨胀卷积单元的并联结果与卷积激活单元级联;
所述并联的3个膨胀卷积单元分别为第一膨胀卷积单元、第二膨胀卷积单元和第三膨胀卷积单元;第一膨胀卷积单元包括膨胀率为1的3×3卷积层和Leaky ReLU激活函数层,第二膨胀卷积单元膨胀率为2的3×3卷积层,第三膨胀卷积单元膨胀率为4的3×3卷积层;并联的3个膨胀卷积单元的输出进行拼接后,作为卷积激活单元的输入,卷积激活单元的输出再与输入的光场图像的浅层特征进行相加运算,作为极线平面图像特征提取器的输出;
所述底部分支中,先将光场图像的浅层特征整形转换为水平极线平面图像堆叠阵列,作为水平极线平面图像特征提取器的输入,提取得到水平极线平面图像特征,然后,将输出的水平极线平面图像特征整形转换为垂直极线平面图像堆叠阵列,作为垂直极线平面图像特征提取器的输入,提取得到极线平面图像特征图,作为多维特征提取网络中底部分支的输出。
8.根据权利要求3所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,所述水平极线平面图像特征提取器和垂直极线平面图像特征提取器处理过程分别表示为:式中, 和 分别表示水平极线平面图像特征提取器和垂直极线平面图像特征提取器的输出; 表示水平极线平面图像堆叠阵列的特征, 表示垂直极线平面图像堆叠阵列的特征,E表示极线平面图像特征提取器。
9.根据权利要求1所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,步骤S204中,所述上采样重建网络对光场图像的4D光场特征进行上采样后,再与模型输入的光场图像通过双三次插值法得到的特征图进行相加运算,生成作为模型输出的光场图像的空间超分辨率重建图像;
所述上采样重建网络包括依次级联的第一1×1卷积层、pixelshuffle层和第二1×1卷积层;其中,上采样重建网络的输入作为第一1×1卷积层的输入,将输入特征通道数增加到2
αC,然后,将第一1×1卷积层的输出作为pixelshuffle层的输入,以进行将第一1×1卷积层的输出特征从通道维度重塑到空间维度,生成超分辨率特征αH×αW,最后,将超分辨率特征αH×αW作为第二1×1卷积层的输入进行超分辨率特征细化,输出得到上采样重建网络的输出;α为空间分辨率放大倍数。
10.根据权利要求1所述的基于空间‑角度解耦机制的光场图像空间超分辨率方法,其特征在于,步骤S205中,通过如下公式计算训练损失:式中,L1表示损失函数, 表示第m个训练样本的低分辨率光场图像 的空间超分辨率重建图像, 表示第m个训练样本的低分辨率光场图像 对应的高分辨率光场图像,M表示训练样本集中包含的训练样本个数。