1.一种基于注视区域优化的三维计算全息图重建方法,其特征在于,所述三维计算全息图重建方法包括迭代优化的注视区域全息图生成和端到端神经网络的注视区域全息图生成,所述迭代优化的注视区域全息图生成过程为:首先进行注视区域划分和权重矩阵构建,再进行光场传播计算,接着进行多深度目标图像生成和加权损失函数构建,进行梯度优化与参数更新,当达到预设的优化次数,或重建图像质量满足设定要求时,停止优化过程;
最后进行全息图加载;
所述端到端神经网络的注视区域全息图生成过程为:首先通过复振幅场生成模块从初始RGBD图像生成中间平面复振幅光场;再通过近眼摄像头采集眼部图像,精准提取用户视线注视点坐标及相关特征;随后将中间平面复振幅光场经光场传播得到初始全息图,并与视线特征融合以增强注视区域权重;最后通过全息图编码模块,直接输出可对入射光场进行相位调制的纯相位全息图。
2.如权利要求1所述的一种基于注视区域优化的三维计算全息图重建方法,其特征在于,所述迭代优化的注视区域全息图生成过程包括以下子步骤:步骤1.1、注视区域划分:根据空间光调制器的物理参数确定全息重建画面的尺寸与分辨率,利用视线估计算法实时获取用户注视点位置,以该点为中心划定特定范围作为注视区域,其余部分定义为非注视区域;
步骤1.2、权重矩阵构建:生成与全息图同尺寸的权重矩阵,对注视区域赋予高权重参数,非注视区域赋予低权重参数,形成差异化的优化优先级,初始化阶段采用随机相位分布作为全息图的初始输入;
步骤1.3、光场传播计算:基于角谱衍射理论,计算全息图从空间光调制器平面到多个目标深度平面的复振幅光场分布,模拟光场在空间中的传播过程。
3.如权利要求2所述的一种基于注视区域优化的三维计算全息图重建方法,其特征在于,所述迭代优化的注视区域全息图生成过程还包括以下子步骤:步骤1.4、多深度目标图像生成:对包含深度信息的目标图像进行预处理,通过深度掩模或离焦渲染方式,生成不同深度位置的目标图像集合,为后续优化提供参考标准;
步骤1.5、加权损失函数构建:从重建光场中提取振幅信息转化为重建图像,将目标图像与重建图像带入损失函数,并引入权重矩阵对注视区域的重建误差进行重点约束,形成区域加权的总损失函数。
4.如权利要求3所述的一种基于注视区域优化的三维计算全息图重建方法,其特征在于,所述迭代优化的注视区域全息图生成过程还包括以下子步骤:步骤1.6、梯度优化与参数更新:将全息图的相位分布作为优化变量,通过反向传播算法计算损失函数对全息图的梯度,迭代更新全息图的相位参数,逐步缩小重建图像与目标图像的差异;
步骤1.7、迭代终止条件:当达到预设的优化次数,或重建图像质量满足设定要求时,停止优化过程;
步骤1.8、全息图加载:与三维重建将优化后的全息图加载至空间光调制器,通过调制入射光场在目标空间重建包含波前信息的三维光场,实现具有真实深度线索的立体图像显示。
5.如权利要求1 4之一所述的一种基于注视区域优化的三维计算全息图重建方法,其~特征在于,所述端到端神经网络的注视区域全息图生成过程包括以下子步骤:
步骤2.1、多深度特征预处理对 RGBD 目标图像进行深度掩模处理或离焦渲染,生成不同深度位置的目标图像,同时输入提取中间平面的复振幅光场分布;
步骤2.2、视线特征提取利用近眼摄像头实时采集用户双眼图像,分析眼部特征,输出精准的视线注视点坐标及相关特征参数;
步骤2.3、光场传播与特征融合将中间平面复振幅通过角谱衍射算法传播至空间光调制器平面,得到初始复振幅全息图;结合视线注视特征,对注视区域进行权重增强,生成包含视觉关注信息的融合特征;
步骤2.4、纯相位全息图生成将融合特征输入全息图编码模块,通过神经网络模型输出适配空间光调制器的纯相位全息图,实现对入射光场的相位调制编码。
6.如权利要求5所述的一种基于注视区域优化的三维计算全息图重建方法,其特征在于,所述端到端神经网络的注视区域全息图生成过程包括以下模块:视线估计模块,用于通过近眼摄像头实时采集眼部图像,利用视觉处理算法提取用户视线注视特征,输出包含注视点位置的坐标信息;
复振幅场生成模块,用于以 RGBD 目标图像为输入,通过深度感知网络生成中间目标平面的复振幅光场分布,捕捉场景的多深度层特征;
特征融合模块,用于将复振幅光场信息与视线注视特征进行时空对齐,通过注意力机制强化注视区域的特征表达,生成融合后的增强特征;
全息图编码模块,用于将融合特征映射为空间光调制器可加载的纯相位全息图,实现从场景输入到全息图输出的端到端映射。
7.如权利要求6所述的一种基于注视区域优化的三维计算全息图重建方法,其特征在于,所述神经网络训练包括以下子步骤:步骤3.1、多深度目标图像预处理:在神经网络训练过程中,首先对 RGBD 输入图像实施深度掩模或离焦渲染处理,以此生成不同深度位置的目标图像集合,从而为后续模块的训练提供多平面参考数据,搭建起基础的数据支撑体系;
步骤3.2、复振幅场生成模块无监督训练:接着将 RGBD 数据集输入该模块,使其输出中间平面的复振幅分布,随后借助角谱衍射算法计算各目标平面的重建光场分布;在得到重建图像后,提取其振幅信息并与目标图像进行对比,以此构建损失函数,最后采用随机梯度下降算法对网络参数进行优化,实现无监督学习的过程,让模块能够自主学习到数据中的特征和规律;
步骤3.3、视线估计模块半监督训练:对于视线估计模块,采用两阶段训练策略来分离与强化注视特征;在特征分离阶段,把无标签眼部图像输入该模块,分离出注视特征与外貌特征,然后通过外貌还原模块将不同样本的注视特征与外貌特征进行重组,再以还原图像与原始图像的差异构建损失函数,以此优化特征分离能力,使模块能够更精准地提取出注视相关的特征;在注视点预测阶段,输入带标签眼部图像,提取注视特征并预测注视点坐标,接着以预测坐标与真实标签的误差构建损失函数,进一步强化注视特征的表达,提升模块对注视点预测的准确性。
8.如权利要求7所述的一种基于注视区域优化的三维计算全息图重建方法,其特征在于,所述神经网络训练还包括以下子步骤:步骤3.4、特征融合与全息图编码模块联合训练:在特征融合与全息图编码模块的联合训练中,先将复振幅场传播至空间光调制器平面,生成初始全息图,然后融合视线特征,并通过注意力机制对注视区域进行权重增强;为了更好地优化这一过程,根据注视点划分出高权重的注视区域与低权重的非注视区域,计算重建图像与目标图像的加权误差,构建区域加权损失函数,进而联合优化特征融合模块与全息图编码模块的参数,让两个模块能够协同工作,提升全息图生成的质量;
步骤3.5、端到端联合训练:最后将带标签的眼部图像与 RGBD 数据同时输入网络,按照完整的数据流重复上述特征融合与全息图编码模块联合训练中步骤2.4.4的训练过程,同步优化所有模块的参数,通过这种全局层面的训练,实现从输入到输出的全局最优,使整个神经网络系统能够高效、准确地生成注视区域全息图。
9.一种如权利要求1所述的基于注视区域优化的三维计算全息图重建方法实现的装置,其特征在于,包括迭代优化的注视区域全息图生成部分和端到端神经网络的注视区域全息图生成部分,所述迭代优化的注视区域全息图生成部分包含以下模块:
注视区域划分模块,用于获取注视点坐标,划分注视区域与非注视区域并构建权重矩阵;
多深度生成模块,用于将三维信息渲染为全息优化算法的多深度的目标图像;
光场传播模块,用于将加载在SLM平面的全息图传播到各个距离下的目标平面,得到在目标平面全息图的重建图像;
梯度优化模块,用于计算全息图重建图像和目标图像的损失值,通过梯度优化算法迭代优化全息图;
所述端到端神经网络的注视区域全息图生成部分包含以下模块:
视线估计模块,用于通过近眼摄像头实时采集眼部图像,利用视觉处理算法提取用户视线注视特征,输出包含注视点位置的坐标信息;
复振幅场生成模块,用于以 RGBD 目标图像为输入,通过深度感知网络生成中间目标平面的复振幅光场分布,捕捉场景的多深度层特征;
特征融合模块,用于将复振幅光场信息与视线注视特征进行时空对齐,通过注意力机制强化注视区域的特征表达,生成融合后的增强特征;
全息图编码模块,用于将融合特征映射为空间光调制器可加载的纯相位全息图,实现从场景输入到全息图输出的端到端映射。