1.一种集成事件相机的光场显微镜三维图像重建系统,其特征在于:包括通过原始光场数据模拟用于训练网络的事件数据的数据模拟模块、能够将连续的事件流转换成图像的事件图像重建网络模块、以及将图像重构为三维场景的三维图像重建网络模块;
数据模拟模块基于随机过程生成具有不同移动路径的图像序列的事件流数据,为事件图像重建网络模块提供训练样本;所述数据模拟模块采用一种基于随机过程的事件模拟器,即动态视觉传感器电压计来获得事件序列,其具体步骤如下:S1、用光场显微镜观测目标三位区域,截取目标在某一确定时间段内的移动轨迹,得到同一三维区域在不同时间下的二维光场图像,并确定每张图像的时间戳;
S2、将S1得到的带有时间戳的二维光场图像输入动态视觉传感器电压计,在强度发生时,以异步“事件”流的形式检测其时空亮度变化,输出相应的事件序列;
S3、对事件序列和光场图像作封装处理,得到光流预测深度网络单元和重建深度神经网络训练单元所需要训练样本;
S4、重复S1、S2和S3,在多个具有不同运动轨迹的三维区域上截取图像,获取大量事件训练数据;
所述事件图像重建网络模块包括从事件数据中进行光流估计的光流预测深度网络单元、以及用于通过学习来执行三维重建的图像重建深度网络单元;光流预测深度网络单元和图像重建深度网络单元被联合训练;
所述三维图像重建网络模块根据三维参考图像和将其与基于波动光学模型计算的点扩散函数卷积来合成的光场图像来训练,且维图像重建网络模块的网络输入为事件图像重建网络模块的输出。
2.根据权利要求1所述的一种集成事件相机的光场显微镜三维图像重建系统,其特征在于:步骤S2具体过程为:事件相机在每个像素亮度L改变时对光线进行采样,每个索引为i的事件可以被编码为Tei=(xi,ti,pi)中,其中xi=(hi,li) 代表像素横纵坐标,ti记录时间戳,极性pi∈{+,‑}记录亮度的增减;第k个时间窗口Δtk发生的亮度增量ΔLk可以编码为:式中,x表示像素横纵坐标的集合,C代表对比度灵敏度阈值。
3.根据权利要求1所述的一种集成事件相机的光场显微镜三维图像重建系统,其特征在于:光流预测深度网络单元使用对比度最大化代理损失通过补偿输入事件中的运动模糊来学习估计光流;图像重建深度网络单元通过图像配准来学习执行图像重建。
4.根据权利要求3所述的一种集成事件相机的光场显微镜三维图像重建系统,其特征在于:所述光流预测深度网络单元使用对比度最大化代理损失通过补偿输入事件中的运动模糊来学习估计光流,具体过程为:在兰伯曲面、照度恒定、Δtk较小的假设下,基于事件的光度常数表示为: 式中,x表示像素横纵坐标的集合,uk(x)表示像素在第k个时间窗口Δtk内的光流矢量,T是由亮度信号Lk随着光流矢量u=(uh,ul) 移动的空间梯度,δhLk、δlLk分别表示Lk在横纵方向上的偏梯度,≈表示约等于;
光流预测深度网络单元的输入是一个具有B个时间窗口的体素网格Ek,每个时间窗口填充了事件流 的连续的不重叠分区,每个分区包含N个事件;对于每个分区,每个事件ei将其极性pi分配给两个最接近的窗口,如下所示:κ(a)=max(0,1‑|a|)
(4)式中,b为窗口索引,κ(a)是最大值函数算子,a是标量值, 为规范化事件时间戳;
光流预测深度网络单元通过运动补偿检索精确逐像素光流u(xi),事件通过以下方式传播到参考时间tref:x′i=xi+(tref‑ti)u(xi)
(6)x'i为xi处的光流传播tref时刻后的位置;
通过双线性插值在每个传播tref时刻后的极性p'的每个像素处生成平均时间戳的图像评估去模糊质量:其中, 为规范化后的tref时间戳,j={i|pi=p'},p'∈{+,‑},参数∈≈0;
对比度最大化代理损失 定义为:
用于训练FlowNet的总损失为:
其中, 为Charbonnier平滑先验,λ1为平衡两种损失影响的标量。
5.根据权利要求3所述的一种集成事件相机的光场显微镜三维图像重建系统,其特征在于:所述图像重建深度网络单元通过图像配准来学习执行图像重建,具体过程为:图像重建深度网络单元的输入与光流预测深度网络单元相同,重建问题使用增量参考图像ΔL和预测的 之间的差异来重建输入事件的亮度信号,为重建后的亮度;ΔL和*两个增量图像被翘曲到共同的时间框架*,得到ΔL和定义为:
其中,x表示像素位置,u是光流矢量,G+和G‑定义如下:式中,P是一个双通道图像,包含了扭曲事件的图像H在事件扭曲过程中接收事件的像素位置的数量;
的空间梯度扭曲到当前时间实例后被定义为:
其中, 为在时间窗Δtk内的重建光流 的翘曲函数;
光度重建损失定义为:
得到的无界亮度估计首先通过 变换到强度空间,exp()表示指数函数,为在为在时间窗Δtk内的重建时间段内的重建结果;最终的重建 表示为:其中,m和M分别为 的1%和99%百分位数, 被裁剪到[0,1]范围内;
时间损失定义为两个连续重构帧之间的光度误差:
|| ||1表示L1范数;
用于训练ReconNet的总损失为:
其中,S表示训练过程中展开循环网络的步数, 是平滑总变分约束,λ2和λ3是平衡三种损失影响的标量。
6.一种集成事件相机的光场显微镜三维图像重建方法,其特征在于:使用权利要求1‑5任意一项的重建系统,包括以下步骤:S1、将原始的光场图像以及其对应时间戳模拟包装成为一系列事件数据,用于后续的网络训练;
S2、事件图像重建网络模块将连续的事件流重建为强度图像,并输入到三维图像重建网络模块;
S3、三维图像重建网络模块将事件图像重建网络模块重建的事件光场图像重构为三维场景。