1.一种电子显微场景下的三维重构方法,其特征在于,包括以下步骤:(1)、利用电子显微镜获得焦距不同的待融合图像
利用位置传感器定位到三维重建所需的上限位置与下限位置,再通过控制器控制伺服电机转动来带动镜筒的物距螺旋准焦上移,当下限位置传感器感应到目镜后进行拍摄,得到不同焦距的待融合图像;
(2)、对待融合图像进行预处理
设待融合图像共计L张,对L张图像使用SIFT特征提取算法进行特征点配准;
将配准好的L张图像分别归一化为M×N大小的图像,按行优先顺序,使用步长为1的滑动窗把第k张图像分成 大小的图像块,m为常数,再把每一块图像纂成一个字典式列向量,其中,第i块图像纂成第i个字典式列向量为vki, 最后将各个字典式列向量构成矩阵Vk;
同理,按照上述方法处理完剩余L-1张图像;
(3)、基于稀疏分解的图像融合
(3.1)、取第一张和第二张配准好的图像;
(3.2)、将两张图像对应的矩阵V1、V2组成联合矩阵V12=[V1,V2],再利用ODL算法得到联合矩阵V12的学习字典D;
(3.3)、设联合矩阵V12包含公共部分Vc和各自独特部分Viu,及噪声部分ni,i=1,2,将噪声部分ni处理成列向量量矩阵ni′,则有:V12=Vc+Viu+ni′=Dsi+Dsi+ni′
令n′=[n1′ n2′]T,则联合矩阵V12可以表示为:V12=DS+n′;其中,se、si表示稀疏矩阵S中的元数;
(3.4)、计算稀疏矩阵S的第j列的值:
其中,vj是矩阵V12的第j列,sj是稀疏矩阵S的第j列,T由噪声方差确定;
(3.5)、根据稀疏矩阵S每一列的值,利用LARS算法求解稀疏系数S*;
(3.6)、计算融合图像的向量矩阵V=DS*;再将向量矩阵V的列向量还原成多个图像块,最后把所有的图像块加权平均处理,得到融合后的图像;
(3.7)、取融合后的图像和第三张配准好的图像,再按照步骤(3.2)~(3.6)所述方法进行图像融合,得到融合后的图像,然后以此类推,至到第L张图像融合完成,得到最终的融合图像IF;
(4)、图像分割
(4.1)、读取图像IF像素点的行列数目,把图像IF等分为K个矩形块,再以此为模板,将每一张配准后的图像也等分成K个矩形块;
(4.2)、采用信息熵D(f)来度量每个矩形块的清晰程度:
其中, 表示第k张图像中第τ个矩形块的熵值, 越大,则矩形块越清晰, 表示第k张图像中第τ个矩形块出现出现像素值σ的概率;
(4.3)、在每一张图像中,找出所有的熵值的熵极值,再将熵极值相同的所有矩形块进行合并,得到一个清晰子块,共计得到L个清晰子块;
(4.4)、对L个清晰子块的边界进行边缘柔化处理,得到L个矩阵;
(5)、深度提取与三维重构
根据传感器上下限距离h,以及矩形脉冲个数P,计算物距差Δh,Δh=h/P;
在融合图像IF中,以L个矩阵为边界,为区域内像素点增加相应高度Δh,得到最终的三维图像。
2.一种电子显微场景下三维重构系统,其特征在于,包括:控制器部分、图像采集部分、运动控制部分和图形显示部分;
其中,所述的控制器部分包括:嵌入式处理设备、控制器;嵌入式处理设备用于发出控制指令,并接收位置信号,进行三维模型重构;控制器为信号转换器,将嵌入式处理设备所传输的控制信号S1转化为脉冲信号S2;
所述运动控制部分包括:闭环步进电机、上下限传感器、USB数据及控制线,丝杠传动装置,置物架;其中,所有信号由USB数据及控制线传输,嵌入式处理设备所发出的控制信号S1经过控制器处理为脉冲信号S2传输给闭环步进电机的内置驱动器,驱动电机通过丝杠传动装置进行显微镜螺旋准焦,控制显微镜镜体焦距;上下限传感器用于定位三维重构的上限与下限;置物架为金属圆台,用于放置重构物体,两侧有压片夹,用以固定较轻物体防止位移;
所述的图像采集部分包括:显微镜镜体、工业级摄像头;其中,工业级摄像头位于显微镜镜体的目镜处,用于获取连续帧的散焦图像,并传输给嵌入式处理设备;工业级摄像头采用1/2.5’CMOS图像传感器,数据接口为USB3.0,工业级摄像头接口为C接口,其数据接口接收嵌入式设备的控制信号S1,工业级摄像头按照其指令按照其时间间隔及相机参数采集多帧图像并输出图像信号给嵌入式设备;
所述的图形显示部分,接受并显示嵌入式处理设备输出的参数、采集的图像,以及显示重构后的三维模型;同时在调参阶段通过这里显示的位置数据调整位置传感器和脉冲长度等参数。
3.根据权利要求2所述的一种电子显微场景下三维重构系统,其特征在于,所述的嵌入式处理设备完整重构流程为:嵌入式处理设备给出控制信号S1传输给控制器以及工业级摄像头;控制器将之转化为P个固定脉冲长度的矩形脉冲S2,传输给闭环步进电机的驱动器则驱动电机转动一定角度(角度由脉冲长度控制),其通过丝杠传动显微镜镜体的螺旋准焦,使物镜向上移动P次,每次固定位移Δh;工业级摄像头得到P个控制信号S1时,按照P个离散时间点对目镜下的成像进行拍摄,得到相应的P张散焦图像,并传输给嵌入式处理设备;
嵌入式处理设备对采集到的图像进行基于稀疏分解的图像融合,将多幅散焦图像融合为一幅清晰图像,对每一帧散焦图像按模糊边界进行图像分割,计算每一帧清晰块所在高度,然后在清晰图像中按照模糊边界为其逐帧增加高度,得到最终的三维图像,并传输给图像显示模块显示。