利索能及
我要发布
收藏
专利号: 2023104194005
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向腹腔镜手术导航的三维网格模型配准融合系统,其特征在于,包括:第一建模模块,用于获取带有组织语义信息的术前组织网格模型;

第二建模模块,用于根据指定的双目内窥镜图像帧的深度值,获取术中组织网格模型;

特征提取模块,用于根据所述术前组织网格模型和术中组织网格模型,分别获取对应的多层级特征;

重叠预测模块,用于根据所述多层级特征,获取所述术前组织网格模型和术中组织网格模型的重叠区域,并获取所述术前组织网格模型处于重叠区域内顶点的位姿变换关系;

全局融合模块,用于根据所述术前组织网格模型处于重叠区域内顶点的坐标和位姿变换关系、以及非重叠区域内顶点的坐标,获取所述术前组织网格模型配准后的所有顶点坐标;

信息显示模块,用于根据所述术前组织网格模型配准后的所有顶点坐标,在所述术中组织网格模型中显示术前组织网格模型的内部组织信息。

2.如权利要求1所述的三维网格模型配准融合系统,其特征在于,所述特征提取模块采用切比雪夫谱图卷积提取所述术前组织网格模型和术中组织网格模型的多层级特征:其中,定义术前组织网格模型Mpre=(Vpre,Epre),Vpre表示术前组织网格模型的顶点的空间坐标,Epre表示术前组织网格模型的顶点之间的边;术中组织网格模型Min=(Vin,Ein),Vin表示术前组织网格模型的顶点的空间坐标,Ein表示术中组织网格模型的顶点之间的边;

和 分别表示术前组织模型的第n+1层和第n层的下采样尺度特征,初始化为Vpre; 和 分别表示术中组织模型的第n+1层和第n层特征,初始化 为Vin;

分别由各自顶点与其B环邻域计算出的b阶切比雪夫多项

式, 分别是由边Ein,Epre计算的缩放拉普拉斯矩阵, 是神经网络的学习参数。

3.如权利要求2所述的三维网格模型配准融合系统,其特征在于,所述重叠预测模块具体用于:采用注意力机制获取所述术前组织网格模型和术中组织网格模型的重叠区域,包括:其中,Opre表示术前组织网格模型Mpre重叠区域的掩码;Oin表示术中组织网格模型Min重叠区域的掩码;cross和self分别表示self‑attention和cross‑attention操作; 和分别表示术前组织网格模型和术中组织网格模型的顶点的第m级下采样尺度特征;

根据掩码Opre和Oin,获取各自处于重叠区域内的顶点 及其特征 并使用多层感知机MLP计算术前组织网格模型Mpre中的顶点 的对应点:其中, 是术中组织网格模型Min中的顶点,对应于术前组织网格模型Mpre中的顶点表示余弦相似度计算, 表示对术中组织网格模型处于重叠区域内的顶点进行位置编码操作;

采用最近邻搜索KNN建立顶点 的局部邻域,采用奇异值分解SVD求解旋转矩阵,公式如下:其中, 表示顶点 的旋转矩阵; 表示使用KNN算法构建属于顶点的一个局部邻域; 是术前组织网格模型的顶点 的邻域点, 是对应于邻域点的术中组织网格模型的顶点;

采用旋转矩阵 改变点云坐标得到 采用MLP预测顶点 的位移向量,公式如下:

其中, 表术前组织网格模型处于重叠区域的顶点的位移向量,并与旋转矩阵构成所述位姿变换关系。

4.如权利要求3所述的三维网格模型配准融合系统,其特征在于,所述全局融合模块具体用于:采用MLP回归术前组织网格模型的所有顶点的旋转矩阵和位移向量:其中,Rpre,tpre分别表示术前组织网格模型的所有顶点的旋转矩阵和位移向量;

表示根据处于重叠区域内的顶点 与术前组织网格模型的所有顶点vpre的距离计算的权重;

其中, 表示所述术前组织网格模型配准后的所有顶点坐标。

5.如权利要求1所述的三维网格模型配准融合系统,其特征在于,在所述三维网格模型配准融合系统的训练阶段,基于真实数据生成训练集:根据指定的双目内窥镜图像帧与术前组织网格模型之间的特征点对,基于特征点采用非刚性算法配准术前组织网格模型和术中组织网格模型,对于任一特征点有:其中,Non_rigid_ICP表示非刚性配准算法ICP, 表示术前组织网格模型的第a个用于非刚性配准的特征点, 对应 的术中组织网格模型的特征点,TG为术前组织网格模型的整体转移矩阵,Tl,a是属于特征点vpre,a的局部形变转移矩阵;

采用四元素插值求得术前组织网格模型中所有顶点的局部形变转移矩阵Tl,通过变换关系求得术前组织网格模型中的顶点vpre配准后的坐标标签

6.如权利要求5所述的三维网格模型配准融合系统,其特征在于,在所述三维网格模型配准融合系统的训练阶段,构建如下有监督损失函数:其中,Losss表示训练阶段的有监督损失函数;

βs、γs分别表示有监督损失项系数;

N1表示术前组织网格模型Mpre的顶点个数;

表示基于人工标注数据集的l2真值损失, 表示术前组织网格模型配准后的所有顶点坐标;

Ic+IIc+IIIc表示柯西格林不变量,用于约束体内组织形变的程度,Ic约束表面两点间弧线距离长度不变,IIc约束组织表面积不变,IIIc约束组织体积不变。

7.如权利要求1所述的三维网格模型配准融合系统,其特征在于,还包括:精度微调模块,用于引入无监督损失微调网络,辅助所述全局融合模块获取所述术前组织网格模型配准后的所有顶点坐标。

8.如权利要求7所述的三维网格模型配准融合系统,其特征在于,所述无监督损失微调网络在应用过程中,构建如下无监督损失函数:其中,Lossu表示无监督损失函数;

βu,γu分别表示无监督损失项系数, 和 均为无监督训练时术前组织网格模型配准后的顶点坐标, 表示在术中组织网格模型中距离配准后术前组织网格模型的顶点 的最近点, 表示顶点 和 的欧式距离, 表示在配准后的术前组织网格模型中距离术中组织网格模型的顶点vin,b的最近点,表示顶点vin,b和顶点 的欧式距离;

N1表示术前组织网格模型Mpre的顶点个数,N2表示术中组织网格模型Min的顶点个数;

表示无监督训练时的柯西格林不变量, 约束表面两点间弧线距离长度不变, 约束组织表面积不变, 约束组织体积不变。

9.如权利要求1~8任一项所述的三维网格模型配准融合系统,其特征在于,所述第二建模模块采用基于双目内窥镜的在线自监督学习深度估计方法,获取所述指定的双目内窥镜图像帧的深度值;所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力,能够利用自监督信息不断适应新场景;

在实时重建模式下,所述第二建模模块具体用于对连续影像视频帧进行过拟合,获取指定的双目内窥镜图像帧的深度值,包括:提取单元,用于获取双目内窥镜影像,采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征;

融合单元,用于采用当前双目深度估计网络的解码器网络,对多尺度特征进行融合,获取当前帧图像中每个像素点的视差;

转化单元,用于根据相机内外参数,将视差转化为深度并作为当前帧图像的结果输出;

第一估计单元,用于在不引入外部真值的条件下,利用自监督损失更新当前双目深度估计网络的参数,用于下一帧图像的深度估计。

10.如权利要求9所述的三维网格模型配准融合系统,其特征在于,在精准测量模式下,所述第二建模模块具体用于对关键影像视频帧进行过拟合,包括:第二估计单元,在不引入外部真值的条件下,根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络,利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛,并将收敛后的双目深度估计网络用于对所述指定的双目内窥镜图像帧的精准深度估计,获取所述指定的双目内窥镜图像帧的深度值。