1.一种多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,包括以下步骤:
步骤一:对于每一个训练步骤,载入RGB‑D图像,根据深度图生成三个二值掩模板,将图像分为三层;随机选择一层作为聚焦面,输入到第一个复振幅生成器,另外两层根据与聚焦面间隔的距离,分别输入到第二和第三个复振幅生成器;将输出的三个层的复振幅场合成为一个复振幅场;
步骤二:用角谱法将复振幅场传播到SLM平面,将复振幅全息图进行仅相位编码得到仅相位全息图;
步骤三:根据三个层中聚焦面与SLM平面的距离,将仅相位全息图用角谱法反向传播该距离得到重建后的图像;
步骤四:对输入图像使用不同大小的高斯卷积核进行模糊处理,再分别乘以三个二值掩模板得到三个目标图像,对应聚焦面和两个非聚焦面;将重建的图像乘以相同的掩模板,并对每个部分与对应的目标图像代入损失函数求损失值;
所述步骤四中,所述的损失函数是指感知损失与均方损失结合的损失函数,将模糊处理后的图像分别加载二进制掩模得到新的三个层的目标图像 将重建后的振幅加载三个二进制掩模后得到的重建图像 分别与目标图像 带入混合损失函数计算,混合损失函数表示为:此处j表示3D物体第j层, 表示j层作为标签的目标振幅, 表示重建振幅,P(·)表示到感知特征空间的变换, 表示SLM平面复振幅场的平均振幅,H表示SLM平面复振幅场的振幅,s是设置的比例因子,τ、γ是设置的损失函数相对权重;
步骤五:将总损失值回传到网络模型通过反向传播更新网络权重,不断优化全息图,当达到设定的训练轮数时,训练结束;
步骤六:对训练完成的模型输入RGB‑D图像,将生成的计算全息图加载到空间光调制器上,从而获得立体图像的重建。
2.如权利要求1所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,所述的步骤一中,RGB‑D图像是两幅图像:一个是普通的RGB三通道彩色图像,另一个是Depth图像,Depth的每个像素值是传感器距离物体的实际距离。
3.如权利要求2所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,所用的RGB‑D数据集是MIT‑CGH‑4K。
4.如权利要求1~3之一所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,第一、第二和第三个复振幅生成器是指三个结构相同的神经网络,分别用于训练生成聚焦面和非聚焦面的复振幅场。
5.如权利要求1~3之一所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,所述的步骤四中,二值掩模板是通过对归一化深度图按像素值等间隔划分区间生成的与输入图像张量尺寸一致的二值四维张量。
6.如权利要求1~3之一所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,所述的步骤一中,将三个复振幅场合成方式是将三个复振幅场的振幅和相位沿通道维度拼接后输入一个仅包含一个下采样和一个上采样的小型神经网络,最后将该网络输出的振幅和相位沿通道维度拼接得到包含三层信息的复振幅场。
7.如权利要求1~3之一所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,所述的步骤二中,所述的仅相位编码方式是将复振幅全息图输入到作为全息编码器的神经网络中。
8.如权利要求1~3之一所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,所述的步骤三中,重建的图像是指重建的复振幅光场的振幅。
9.如权利要求1~3之一所述的多个神经网络联合训练的真实模糊三维全息图重建方法,其特征在于,所述步骤六中,所述训练完成的模型是指训练达到指定次数,此时训练集损失函数收敛,并且在测试集上重建图像质量达到结构相似性指标要求,继续训练对结果无明显提升;所述的获得立体图像的重建是指在对应的衍射距离处接收重建的全息图像。