利索能及
我要发布
收藏
专利号: 202110106321X
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向微创手术空间感知的内窥镜图像三维重构方法,其特征在于,所述方法包括:

S1、获取内窥镜图像;

S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计,获取当前帧的点云深度;

S3、基于所述点云深度和相机模型获取局部点云;

S4、对多个局部点云进行配准融合;

S5、对配准融合后的多个局部点云进行拼接,形成随着时间推移柔性变换的全局点云,对所述全局点云进行可视化展示。

2.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法,其特征在于,所述预设的多任务神经网络模型包括:三类卷积块和全局池化层,所述三类卷积块包括卷积块一、卷积块二和卷积块三,所述多任务神经网络模型处理内窥镜图像的过程包括:通过两个卷积块一对两帧内窥镜图像提取内窥镜图像的特征图,得到第一特征图和第二特征图,两个卷积块一之间的网络参数权值共享;

对所述第一特征图和第二特征图进行拼接,通过所述卷积块二对拼接后的特征图进行特征提取,得到帧间运动向量估计特征;

通过所述全局池化层对帧间运动向量估计特征进行池化处理,得到两帧内窥镜图像之间的相机运动向量;

通过所述卷积块三对拼接后的特征图进行调整特征提取,得到深度信息特征;第二特征图与深度信息特征跳层连接,输出适用于第二张内窥镜图像的多尺度视差图。

3.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法,其特征在于,所述预设的多任务神经网络模型的训练过程包括:获取内窥镜图像并进行处理;

将处理后的内窥镜图像输入到初始神经网络模型,采用自监督的方式对初始神经网络模型进行训练,得到多任务神经网络模型;

其中,训练过程中的损失函数包括:相机帧间运动估计损失:

其中, 表示神经网络模型预设的相机平移向量; 表示神经网络模型预设的相机旋转向量;δ1和δ2分别为适用于平移向量和旋转向量的Huber函数的参数;

其中,Huber函数 计算如下:其中,y和 表示需要进行比较的两个数;

图像还原损失,包括像素误差损失和相似性误差损失,具体为:像素误差损失:

其中:M和N分别表示图像的像素宽和高的值;I(i,j)表示第二张图在坐标(i,j)下的真实像素值; 表示通过算法重建的第二张图在坐标(i,j)的像素值;θ为代表像素误差的Huber函数的参数;

相似性误差损失:

其中:Sim表示图像相似性评估函数,其值位于0~1之间;I表示真实的第二张图;表示通过算法重建的第二张图;

深度平滑误差损失:

其中:D(i,j)表示在坐标(i,j)处,所估计的第二张图的深度的倒数;

总的损失函数为上述损失函数的加权和,各部分的权重分配通过神经网络超参数学习获得。

4.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法,其特征在于,所述S3包括:

根据相机外参对内窥镜图像进行畸变校正,对于非畸变图像像素坐标(u v),其像素值还原步骤包括:

对于非畸变图像的归一化平面,有:其中,(x′ y′)表示非畸变图像像素坐标(u v)在归一化平面上对应的坐标;

坐标经畸变后,在归一化平面上的坐标为(x″ y″),有:

2 2 2

其中,r=x′+y′

畸变后的归一化平面坐标经过投影到像素平面上,得到像素坐标为:因此非畸变图像坐标(u v)的像素值即为畸变图像坐标(ud vd)所对应的像素值;而ud和vd通常为非整数,可以根据双线性插值法求得(ud vd)所对应的像素值;

双线性插值法如下:

若ud和vd均为非整数,则取u1<ud<u1+1,v1<vd<v1+1;若u1和v1均为整数,则有:I(ud,vd)=(v1+1‑vd)I(ud,v1)+(vd‑v1)I(ud,v1+1)其中,

I(ud,v1)=(u1+1‑ud)I(u1,v1)+(ud‑u1)I(u1+1,v1)I(ud,v1+1)=(u1+1‑ud)I(u1,v1+1)+(ud‑u1)I(u1+1,v1+1);

根据像素值还原后的坐标和相机模型求解点云的x和y,具体为:x=z(u‑cx)/fx

y=z(v‑cy)/fy

根据点云的x和y,将步骤S2中的点云深度作为z,得到在当前帧所对应的内窥镜相机坐标系下的局部点云。

5.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法,其特征在于,所述S4包括:

若内窥镜是由机器人扶持,获得每一帧图像所对应的相机位姿,通过位姿转换获得内窥镜相机帧间运动信息;

将帧间运动信息作为点云配准的初始值,采用相干点漂移算法对多个局部点云进行配准融合。

6.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法,其特征在于,所述S4还包括:

若内窥镜不是由机器人扶持,通过多任务神经网络模型获得帧间运动信息;

将帧间运动信息作为点云配准的初始值,采用相干点漂移算法对多个局部点云进行配准融合。

7.如权利要求1所述的面向微创手术空间感知的内窥镜图像三维重构方法,其特征在于,所述S5包括:

采用动态更新机制对配准融合后的多个局部点云进行拼接,形成随着时间推移柔性变换的全局点云,采用三维数据处理库对全局点云进行可视化展示。

8.一种面向微创手术空间感知的内窥镜图像三维重构系统,其特征在于,包括:获取模块,用于获取内窥镜图像;

深度估计模块,用于基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计,获取当前帧的点云深度;

局部点云获取模块,用于基于点云深度和相机模型获取局部点云;

配准融合模块,用于对多个局部点云进行配准融合;

全局点云生成模块,用于对配准融合后的多个局部点云进行拼接,形成随着时间推移柔性变换的全局点云,对全局点云进行可视化展示。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1~7任一项所述的方法。

10.一种电子设备,其特征在于,所述电子设备包括处理器以及存储器:所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

所述处理器用于根据所述程序代码中的指令执行权利要求1~7任一项所述的方法。