1.一种基于散斑相关与迁移学习的实时成像方法,其特征在于:方法包括以下步骤:S1:构建源域数据集用于预训练,所述源域数据集包含原始目标与目标自相关,所述预训练为迁移学习策略关键步骤之一,即基于源域数据集训练预训练网络;
S2:构建目标域数据集用于微调,所述目标域数据集包含散斑自相关与目标自相关,所述微调为迁移学习策略另一关键步骤,即基于目标域数据集训练微调网络;
S3:分别训练预训练网络与微调网络,即分别基于源域数据集与目标域数据集训练预训练网络与微调网络模型,所述网络模型为退化感知Transformer神经网络;
S4:构建完备散斑重建模型,即通过级联形式将训练好的微调网络和预训练网络进行连接,构建成完备的散斑重建模型;
S5:测试阶段,实时重建,即基于所述散斑重建模型进行测试,将采集到的散斑图像实时回传至重建模型,通过重建模型不断循环重建采集结果,得到实时的透过浑浊水体成像结果。
2.根据权利要求1所述的一种基于散斑相关与迁移学习的实时成像方法,其特征在于:所述步骤S1与S2中,预训练与微调进一步包括将散斑相关成像与迁移学习策略进行结合,在微调过程中利用迁移学习策略涉及较少的训练数据,即通过预训练中仿真获取的大规模源域数据集减少了实际采集的散斑数据。
3.根据权利要求2所述的一种基于散斑相关与迁移学习的实时成像方法,其特征在于:执行所述步骤S1与S2后,获得包括直接经由程序计算生成的较大规模的源域数据集,与实验采集制作而成的较小规模的目标域数据集的两个训练数据集。
4.根据权利要求1所述的一种基于散斑相关与迁移学习的实时成像方法,其特征在于:所述预训练网络与微调网络使用同一种网络模型,所述同一种网络模型为退化感知Transformer网络,所述退化感知Transformer网络的每个block中包含统一上下文细化注意力模块、层归一化、残差连接以及前馈模块;
所述统一上下文细化注意力模块在通道和空间层面进行高阶特征关联调控,实现通道特征和空间结构的协同调节,通过对每个特征通道的重要性权重以及图像中不同空间位置之间的内在关联性和重要性进行计算评分,根据评分调整每个通道的特征表示,同时计算像素位置之间的相似度或关联度,指导模型关注图像中特定区域与细节,且进一步基于深度可分离卷积将标准卷积分解为两个更小的卷积操作减少计算量;所述层归一化用于规范化每个模块的输入,加快训练速度和提升模型性能;所述残差连接用于传递和学习输入与输出之间的信息;使用所述前馈模块用于对特征进行非线性变换和提取。
5.根据权利要求4所述的一种基于散斑相关与迁移学习的实时成像方法,其特征在于:所述预训练网络与微调网络的训练为:分别会在源域数据集Dpre和目标域数据集Dfine上达到收敛状态,即预训练网络和微调网络达到的收敛状态分别表示为:其中,arg min代表使目标函数取得最小值,Θ代表模型参数集合,代表求解期望,代表网络损失函数,fpre与ffine分别代表预训练网络与微调网络,X代表输入数据,Y代表标签数据,因此在预训练与微调网络的训练过程中,神经网络的参数集合Θ会经过不断优化,以使网络在训练数据集上的预测输出与标签数据Y之间的损失函数 达到最小化,即到达收敛状态;
网络的损失函数采用Charbonnier损失和edge损失的结合,表示为如下形式:L=Lchar+λLedge
其中,参数λ决定两种损失的权重,被选定为0.05,XGT和 分别表示生成的图像与真值,ε常数被设定为1e‑3。
6.根据权利要求5所述的一种基于散斑相关与迁移学习的实时成像方法,其特征在于:所述预训练网络与微调网络的训练还包括:训练好的预训练网络具有从自相关图像重建出原始目标的能力,训练好的微调网络具有特征适配的能力,可以将实际采集的散斑图像的自相关与理想的目标自相关之间进行对齐处理。
7.根据权利要求6所述的一种基于散斑相关与迁移学习的实时成像方法,其特征在于:所述构建完备散斑重建模型中:将微调网络的输出结果作为预训练网络的输入数据,以级联形式构建完备的散斑重建模型,基于所述训练好的微调网络对目标域数据进行预处理,统一不同散斑自相关的特征,将它们的特征表示与目标自相关对齐,使精炼后的自相关图像中的目标域特征有效地迁移到预训练模型中。
8.根据权利要求1所述的一种基于散斑相关与迁移学习的实时成像方法,其特征在于:所述进行测试的测试过程包括:在未知的浑浊水体测试场景中,搭建反射式成像系统,使用非相干LED装置进行照明,控制数字微镜器件加载未知的测试原始目标,携带目标信息的光束透过浑浊水体,经过光阑与滤光片,最终被CMOS相机捕获并将采集到的散斑图像实时回传至重建模型,使用重建模型不断循环重建相机采集结果,得到实时的透过浑浊水体成像结果。
9.一种基于散斑相关与迁移学习的实时成像系统,其特征在于:所述系统包括:
预训练准备模块,用于对原始目标数据集中的原始目标进行自相关运算,制作目标自相关与目标的数据对,构建源域数据集用于预训练;
微调准备模块,用于通过结合散斑相关成像与迁移学习策略,其中所采集的少量散斑自相关用于微调,实现利用更少的散斑训练数据获取结果;
神经网络模型训练模块,用于分别在源域数据集与目标域数据集上训练预训练网络与微调网络模型;
所述神经网络模型训练模块还包括退化感知Transformer神经网络模块,用于采用基于Transformer架构的退化感知Transformer神经网络获取高质量重建结果;
散斑重建模型构建模块,用于通过级联形式将训练好的微调网络和预训练网络进行连接,构建成为完备的散斑重建模型;
模型测试模块,用于基于二阶段的散斑重建过程,第一阶段中测试散斑首先通过微调网络得到精炼自相关,第二阶段中精炼自相关再经过第二个网络‑预训练网络得到重建结果。