利索能及
我要发布
收藏
专利号: 2019112940025
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种双目内窥镜软组织图像的联合三维重建方法,其特征在于,包括以下步骤:(1)、双目内窥镜标定;

对双目内窥镜的两个相机进行各自标定,以及两相机之间进行立体标定,从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵;

(2)、图像采集及预处理;

利用双目内窥镜对目标软组织进行图像采集,再利用外部参数矩阵对采集图像进行重投影,使左右两幅采集图像落在同一平面上,且左右两幅采集图像之间的像素行满足极线约束;

将处理后的左右两幅采集图像用图像对表示为{Il,Ir},并设目标软组织表面在Il中的像素坐标为(x,y),对应的待求深度为z(x,y);

(3)、利用立体视觉算法计算初步深度信息z0;

(3.1)、在图像对{Il,Ir}中,对于左图像Il中的每个像素点,通过在右图像Ir对应行上滑动绝对误差和SAD窗口,从而获得最佳匹配点,实现全局的特征匹配;

(3.2)、计算视差;

计算每个最佳匹配点的视差:d=xl-xr,其中,xl、xr分别为左、右最佳匹配点的横坐标;

(3.3)、将所有最佳匹配点的视差组成视差图d(x,y);

(3.4)、通过三角测量视差图,得到初步深度信息z0;

z0(x,y)=f·b/d(x,y)

(4)、利用阴影恢复形状算法对双目内窥镜的光照环境进行建模;

(4.1)、将左图像Il转为灰度图像 其像素值代表亮度;

(4.2)、基于微表面理论构建的双向反射分布方程fBRDF(z)模拟左相机成像过程,构建左图像Il的反射图El(z);

其中,z为待求深度,μ为光照方向向量,Nl为左相机获取的软组织表面某一点的法向量,σ为常量系数;

(5)、构造立体视觉数据项Dstereo(z):Dstereo(z)=||z-z0||2;构造阴影恢复形状数据项Dsfs(z):(6)、构建目标函数;

Etotal=ωsfsDsfs(z)+ωstereoDstereo(z)+ωRR(z)其中,R(z)为平滑约束;ωsfs、ωstereo、ωR分别是阴影恢复形状数据项、立体视觉项、平滑约束项的权重值;p、q分别为X轴方向上的表面梯度和Y轴方向上的表面梯度;

(7)、使用的交替方向乘子法ADMM对目标函数进行迭代求优,得到最优的深度信息zfinal=argminEtotal;

(8)、通过透视投影的逆变换,将图像的像素坐标及其深度信息zfinal恢复为三维的世界坐标,重建完毕。

2.根据权利要求1所述的一种双目内窥镜软组织图像的联合重建方法,其特征在于,所述法向量Nl的计算方法为:设点o为左相机获取的软组织表面上的一点,点o在X轴方向上的表面梯度为在Y轴方向上的表面梯度为 那么点o的法向量Nl为:Nl=(p,q,1)。