1.一种基于深度学习图像超分辨率重建的水下多光谱鬼成像系统,其特征在于,包括:
光调制模块、多光谱光强数据采集模块、控制及图像重建模块,所述控制及图像重建模块分别与所述光调制模块、多光谱光强数据采集模块连接,所述控制及图像重建模块控制所述光调制模块调制照明光束后投射到目标物上,调制后的照明光束经目标物反射后被所述多光谱光强数据采集模块接收,所述多光谱光强数据采集模块将接收的反射光束发送到所述控制及图像重建模块,在所述控制及图像重建模块中经预训练的深度神经网络进行图像重建,输出超分辨率图像;
所述多光谱光强数据采集模块包括:面阵CCD探测器、线性渐变滤光片、多孔径遮光板、微透镜阵列,其中,线性渐变滤光片、多孔径遮光板、微透镜阵列依次排列在面阵CCD探测器前,且微透镜阵列、多孔径遮光板及线性渐变滤光片与面阵CCD探测器的水平和垂直方向对齐,每个微透镜的中心与多孔径遮光板上对应的孔径的中心一一对应,面阵CCD探测器处于微透镜阵列的焦距上,线性渐变滤光片与微透镜阵列的水平夹角为β;
所述调制后的照明光束经目标物反射后被所述多光谱光强数据采集模块接收,生成多光谱数据集矩阵S=[S1,S2,...,Sk,...,SK],其中,k=1,2,...,K,K=A×B,A×B表示微透镜阵列的行列数,Sk表示微透镜阵列上按行计数的第k个微透镜采集的一维光场强度序列;
所述深度神经网络包括K个分支,每个分支输入对应的一维光场强度序列后,经过全连接网络、3×3卷积、图像重建模块、噪声与模糊核、特征抽取器处理后,输出对应的分支特征;将所述分支特征进行特征融合后输入瓶颈层卷积、卷积偏移生成器,生成偏移特征;将所述偏移特征与分支特征输入可变形卷积、重建层卷积,生成重建特征;将所述重建特征与所述一维光场强度序列进行特征融合后,输出超分辨率重建图像。
2.根据权利要求1所述的基于深度学习图像超分辨率重建的水下多光谱鬼成像系统,其特征在于,所述光调制模块调制照明光束采用哈达玛散斑。
3.根据权利要求1所述的基于深度学习图像超分辨率重建的水下多光谱鬼成像系统,其特征在于,所述深度神经网络通过训练集进行训练,所述训练集包括多光谱数据集矩阵n nC,所述多光谱数据集矩阵C经过对原始图像进行缩小、像素随机移动后计算获得。
4.根据权利要求3所述的基于深度学习图像超分辨率重建的水下多光谱鬼成像系统,n
其特征在于,所述深度神经网络在训练过程中,将所述多光谱数据集矩阵C输入所述深度神经网络处理为二维图像后,在所述二维图像加入m张噪声级图,所述噪声级图的像素值在预设范围内随机生成,所述噪声级图上添加有高斯噪声、泊松噪声、加性高斯白噪声、高斯模糊、散焦模糊、运动模糊。
5.根据权利要求3所述的基于深度学习图像超分辨率重建的水下多光谱鬼成像系统,其特征在于,所述深度神经网络在训练过程中的损失计算为:L(P)=Lalign+Lsr;
LR
其中,Lalign表示网络训练损失,Lsr表示SR重建网络损失, 为参考帧,Ii 为低分辨LR辅助帧, 为训练预测对应的对齐后的LR帧, 为最终的高分辨率HR帧估计, 为第t帧HR帧。