1.一种基于手术多阶段场景配准的微创手术术后回顾方法,其特征在于,包括:获取腹腔镜手术全过程的彩色视频帧序列;
基于预设的手术阶段识别网络,将每一彩色视频帧分类至不同手术阶段的视频帧集合;其中所述手术阶段包括手术准备阶段A、气腹阶段B、探查和操作阶段C以及清理和缝合阶段D;
获取与每一所述视频帧集合对应的实时空间三维高斯三维模型;
将每一所述实时空间三维高斯三维模型进行多阶段模型配准,形成一个多阶段场景的三维模型;
所述基于预设的手术阶段识别网络,将每一彩色视频帧分类至不同手术阶段的视频帧集合;包括:构建所述手术阶段识别网络;所述手术阶段识别网络包括三维空间特征提取通道、二维空间特征提取通道、时间光流特征提取通道以及softmax层,三个通道的提取特征经过softmax层输出阶段分类得分;
其中,所述三维空间特征提取通道用于使用PointNet网络提取不同时刻的点云模型的空间几何信息;所述二维空间特征提取通道由若干个卷积层组成,用于识别每一所述彩色视频帧中的器械和组织信息;所述时间光流特征提取通道由若干个卷积层组成,用于提取每一所述彩色视频帧相对于其上一帧的光流信息;
采用交叉熵损失函数训练所述手术阶段识别网络直至收敛后,利用收敛后的网络,分别获取与所述手术准备阶段A、气腹阶段B、探查和操作阶段C以及清理和缝合阶段D对应的视频帧集合 、 、 、;
其中,NA、NB、NC、ND分别表示相应集合内的视频帧数量;
对于任一所述视频帧集合,基于三维高斯溅射的腹腔镜手术场景三维重建方法,获取与之对应的实时空间三维高斯三维模型;包括:基于该视频帧集合中的彩色视频帧序列及其对应的深度图序列;
基于形变感知的关键帧池,估计当前时刻的彩色视频帧的初始相机位姿,以及判断其是否为需存储入关键帧池的关键帧;其中所述关键帧池维护一个相对静态的正则空间3D高斯三维模型;
若当前时刻的彩色视频帧不是关键帧,则
将当前时刻的彩色视频帧及其深度图、当前相机位姿、上一时刻的正则空间3D高斯三维模型作为输入,启动动态场景优化器,以估计用于将正则空间3D高斯三维模型转化为实时空间3D高斯三维模型的形变场;
将当前时刻的彩色视频帧及其深度图、当前相机位姿、当前的实时空间3D高斯三维模型作为输入,启动位姿优化器,以更新当前相机位姿;
交替迭代运行所述动态场景优化器和位姿优化器直至两者均收敛,以实现至少输出当前时刻的实时空间3D高斯三维模型;
若当前时刻的彩色视频帧是关键帧,则
将当前时刻的彩色视频帧及其深度图、当前相机位姿、上一时刻的正则空间3D高斯三维模型作为输入,启动静态场景优化器,以更新正则空间3D高斯三维模型;
将当前时刻的彩色视频帧及其深度图、当前相机位姿、当前的正则空间3D高斯三维模型作为输入,启动位姿优化器,以更新当前相机位姿;
交替迭代运行所述动态场景优化器和位姿优化器直至两者均收敛,以实现至少输出当前时刻的正则空间3D高斯三维模型;
选择最后一个非关键帧对应时刻的实时空间3D高斯三维模型,作为该视频帧集合对应的实时空间三维高斯三维模型。
2.如权利要求1所述的微创手术术后回顾方法,其特征在于,所述基于形变感知的关键帧池,估计当前时刻的彩色视频帧的初始相机位姿,以及判断其是否为需存储入关键帧池的关键帧;包括:提取彩色视频帧的SIFT特征描述子,遍历匹配关键帧池中的所有关键帧,将匹配关键点对最多的关键帧作为最佳匹配帧;
计算彩色视频帧与最佳匹配帧间的位姿变换,获取初始相机位姿;
基于彩色视频帧与最佳匹配帧之间的匹配关键点对的FPFH特征描述子,对彩色视频帧的形变程度进行估计,并将估计得到形变度量值存储在缓存池中;
基于最佳匹配帧,判断彩色视频帧的质量;其中判断指标包括该彩色视频帧上匹配关键点的数量和/或匹配关键点所构成二维凸包的面积;
若当前时刻的彩色视频帧的形变度量值小于相应阈值,且质量大于相应阈值,则将其判断为关键帧并存储入关键帧池中;
若超过预设时间仍无新的关键帧存储入关键帧池中,在当前缓存池中寻找形变度量值最小的彩色视频帧存储入关键帧池中,并清空缓存池中的数据。
3.如权利要求2所述的微创手术术后回顾方法,其特征在于,基于所述位姿优化器的可优化参数为当前相机位姿,设计相应的损失函数:其中,Lpose表示位姿优化器的总损失函数;Lc、Ld分别表示位姿优化器的彩色图损失函数和深度图损失函数;
分别表示当前时刻的彩色视频帧及其深度图;
表示矩阵或向量的F范数;
表示 与 的SSIM损失;
表示三维高斯溅射的可微渲染器,用于将3D高斯三维模型 以当前相机位姿Pt渲染成预测的彩色视频帧 和预测的深度图 ;
、 分别表示当前的正则空间3D高斯三维模型、当前的实时空间3D高斯三维模型。
4.如权利要求3所述的微创手术术后回顾方法,其特征在于,基于所述动态场景优化器的可优化参数为形变场,设计相应的损失函数:其中,Ldynamic表示动态场景优化器的总损失函数; 分别表示动态场景优化器的彩色图损失函数和深度图损失函数;
表示形变场Wt对上一时刻的正则空间3D高斯三维模型 的形变作用;
表示3D高斯i在正则空间中的中心点三维位置;KNN(i)表示3D高斯i的K近邻, 表示邻近3D高斯j在正则空间中的中心点三维位置; 分别表示3D高斯i和邻近3D高斯j在实时空间中的中心点三维位置;
wij表示3D高斯i和邻近3D高斯j之间的连接权重;exp表示以自然常数e为底的指数函数;λ为权重超参,用于调节wij的值; 表示向量的二范数;
和/或
基于所述静态场景优化器的可优化参数为上一时刻的正则空间3D高斯三维模型的属性,设计相应的损失函数:其中,Lstatic表示静态场景优化器的总损失函数; 分别表示静态场景优化器的彩色图损失和深度图损失;
为上一时刻的正则空间3D高斯三维模型的属性;其中每个3D高斯的颜色采用球谐函数系数clm表示,形状采用S矩阵和R矩阵表示,且R矩阵为四元数 ,透明度采用α表示、中心点位置采用x表示;
和/或
在所述静态场景优化器的运行过程中,还会执行稠密化过程以增加正则空间3D高斯三维模型的3D高斯数量。
5.如权利要求1所述的微创手术术后回顾方法,其特征在于,分别将与视频帧集合、 、 、 对应的实时空间三维高斯三维模型记为 、 、 、 ;所述将每一所述实时空间三维高斯三维模型进行多阶段模型配准,形成一个多阶段场景的三维模型;
包括:
设定一个球坐标系,将球坐标系的半径范围设定为最远三维高斯相距的距离,极角范围根据相机的视场角设定,方位角范围则设定为模型正前方,并在球坐标系上均匀采样N个相机位置,并将其转化为笛卡尔坐标,转换公式如下:其中,(xcam,ycam,zcam)表示转换的相机位置,r表示半径,θ表示极角,ϕ 表示方位角;
将相机视角方向正对高斯三维模型的中心位置,并在该视角方向上沿着上下左右偏移a度,将每个相机位置拓展到a个相机位姿,最终采样得到aN个相机位姿{Pi};
结束采样后,将 和 在aN个相机位姿进行渲染:
其中, 分别表示在第i个采样的相机位姿下得到的三维模型A和三维模型B的渲染图片;
使用下述能量函数作为优化目标,计算 到 的转化位姿PBA;所述能量函数表示如下:将多阶段三维高斯三维模型统一到同一坐标系下:
其中, 表示将 统一到 坐标系后的三维高斯三维模型; 表示 中的第i个三维高斯; 表示该三维高斯的中心点坐标; 表示 中第i个三维高斯的中心点坐标; 表示PBA中表示旋转的四元数转化的3*3的旋转矩阵;tBA表示位姿PBA中的平移向量;transform(⋅)表示将PBA转化为旋转矩阵和平移向量的转换方程;
类似的,得到 、 ,最终获取对齐后的三维模型序列 ,形成一个多阶段场景的三维模型。
6.一种基于手术多阶段场景配准的微创手术术后回顾系统,其特征在于,用于执行如权利要求1所述的微创手术术后回顾方法,包括:获取模块,用于获取腹腔镜手术全过程的彩色视频帧序列;
识别模块,用于基于预设的手术阶段识别网络,将每一彩色视频帧分类至不同手术阶段的视频帧集合;其中所述手术阶段包括手术准备阶段A、气腹阶段B、探查和操作阶段C以及清理和缝合阶段D;
重建模块,用于获取与每一所述视频帧集合对应的实时空间三维高斯三维模型;
配准模块,用于将每一所述实时空间三维高斯三维模型进行多阶段模型配准,形成一个多阶段场景的三维模型。
7.一种存储介质,其特征在于,其存储有用于基于手术多阶段场景配准的微创手术术后回顾的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1 5任一项所述的~微创手术术后回顾方法。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1 5任一项所述的微创手术术后回顾方法。
~