1.一种基于三维高斯溅射的腹腔镜手术场景三维重建方法,其特征在于,包括:获取腹腔镜手术的彩色图像帧序列及其对应的深度图序列;
基于形变感知的关键帧池,估计当前时刻的彩色图像帧的初始相机位姿,以及判断其是否为需存储入关键帧池的关键帧;其中所述关键帧池维护一个相对静态的正则空间3D高斯三维模型;
若当前时刻的彩色图像帧不是关键帧,则
将当前时刻的彩色图像帧及其深度图、当前相机位姿、上一时刻的正则空间3D高斯三维模型作为输入,启动动态场景优化器,以估计用于将正则空间3D高斯三维模型转化为实时空间3D高斯三维模型的形变场;
将当前时刻的彩色图像帧及其深度图、当前相机位姿、当前的实时空间3D高斯三维模型作为输入,启动位姿优化器,以更新当前相机位姿;
交替迭代运行所述动态场景优化器和位姿优化器直至两者均收敛,以实现至少输出当前时刻的实时空间3D高斯三维模型;
若当前时刻的彩色图像帧是关键帧,则
将当前时刻的彩色图像帧及其深度图、当前相机位姿、上一时刻的正则空间3D高斯三维模型作为输入,启动静态场景优化器,以更新正则空间3D高斯三维模型;
将当前时刻的彩色图像帧及其深度图、当前相机位姿、当前的正则空间3D高斯三维模型作为输入,启动位姿优化器,以更新当前相机位姿;
交替迭代运行所述动态场景优化器和位姿优化器直至两者均收敛,以实现至少输出当前时刻的正则空间3D高斯三维模型;
所述基于形变感知的关键帧池,估计当前时刻的彩色图像帧的初始相机位姿,以及判断其是否为需存储入关键帧池的关键帧;包括:提取彩色图像帧的SIFT特征描述子,遍历匹配关键帧池中的所有关键帧,将匹配关键点对最多的关键帧作为最佳匹配帧;
计算彩色图像帧与最佳匹配帧间的位姿变换,获取初始相机位姿;
基于彩色图像帧与最佳匹配帧之间的匹配关键点对的FPFH特征描述子,对彩色图像帧的形变程度进行估计,并将估计得到形变度量值存储在缓存池中;
基于最佳匹配帧,判断彩色图像帧的质量;其中判断指标包括该彩色图像帧上匹配关键点的数量和/或匹配关键点所构成二维凸包的面积;
若当前时刻的彩色图像帧的形变度量值小于相应阈值,且质量大于相应阈值,则将其判断为关键帧并存储入关键帧池中;
若超过预设时间仍无新的关键帧存储入关键帧池中,在当前缓存池中寻找形变度量值最小的彩色图像帧存储入关键帧池中,并清空缓存池中的数据。
2.如权利要求1所述的腹腔镜手术场景三维重建方法,其特征在于,基于所述位姿优化器的可优化参数为当前相机位姿,设计相应的损失函数:其中,Lpose表示位姿优化器的总损失函数;Lc、Ld分别表示位姿优化器的彩色图损失函数和深度图损失函数;
分别表示当前时刻的彩色图像帧及其深度图;
表示矩阵或向量的F范数;
表示 与 的SSIM损失;
表示三维高斯溅射的可微渲染器,用于将3D高斯三维模型 以当前相机位姿Pt渲染成预测的彩色图像帧 和预测的深度图 ;
分别表示当前的正则空间3D高斯三维模型、当前的实时空间3D高斯三维模型。
3.如权利要求2所述的腹腔镜手术场景三维重建方法,其特征在于,基于所述动态场景优化器的可优化参数为形变场,设计相应的损失函数:其中,Ldynamic表示动态场景优化器的总损失函数; 分别表示动态场景优化器的彩色图损失函数和深度图损失函数;
表示形变场Wt对上一时刻的正则空间3D高斯三维模型 的形变作用;
表示3D高斯i在正则空间中的中心点三维位置;KNN(i)表示3D高斯i的K近邻, 表示邻近3D高斯j在正则空间中的中心点三维位置; 分别表示3D高斯i和邻近3D高斯j在实时空间中的中心点三维位置;
wij表示3D高斯i和邻近3D高斯j之间的连接权重;exp表示以自然常数e为底的指数函数;λ为权重超参,用于调节wij的值; 表示向量的二范数;
和/或
基于所述静态场景优化器的可优化参数为上一时刻的正则空间3D高斯三维模型的属性,设计相应的损失函数:其中,Lstatic表示静态场景优化器的总损失函数; 分别表示静态场景优化器的彩色图损失和深度图损失;
为上一时刻的正则空间3D高斯三维模型的属性;其中每个3D高斯的颜色采用球谐函数系数clm表示,形状采用S矩阵和R矩阵表示,且R矩阵为四元数Q,透明度采用α表示、中心点位置采用x表示。
4.如权利要求1所述的腹腔镜手术场景三维重建方法,其特征在于,在所述静态场景优化器的运行过程中,还会执行稠密化过程以增加正则空间3D高斯三维模型的3D高斯数量。
5.一种基于三维高斯溅射的腹腔镜手术场景三维重建系统,其特征在于,包括:获取模块,用于获取腹腔镜手术的彩色图像帧序列及其对应的深度图序列;
判断模块,用于基于形变感知的关键帧池,估计当前时刻的彩色图像帧的初始相机位姿,以及判断其是否为需存储入关键帧池的关键帧;其中所述关键帧池维护一个相对静态的正则空间3D高斯三维模型;
构建模块,用于
若当前时刻的彩色图像帧不是关键帧,则
将当前时刻的彩色图像帧及其深度图、当前相机位姿、上一时刻的正则空间3D高斯三维模型作为输入,启动动态场景优化器,以估计用于将正则空间3D高斯三维模型转化为实时空间3D高斯三维模型的形变场;
将当前时刻的彩色图像帧及其深度图、当前相机位姿、当前的实时空间3D高斯三维模型作为输入,启动位姿优化器,以更新当前相机位姿;
交替迭代运行所述动态场景优化器和位姿优化器直至两者均收敛,以实现至少输出当前时刻的实时空间3D高斯三维模型;
所述构建模块,还用于
若当前时刻的彩色图像帧是关键帧,则
将当前时刻的彩色图像帧及其深度图、当前相机位姿、上一时刻的正则空间3D高斯三维模型作为输入,启动静态场景优化器,以更新正则空间3D高斯三维模型;
将当前时刻的彩色图像帧及其深度图、当前相机位姿、当前的正则空间3D高斯三维模型作为输入,启动位姿优化器,以更新当前相机位姿;
交替迭代运行所述动态场景优化器和位姿优化器直至两者均收敛,以实现至少输出当前时刻的正则空间3D高斯三维模型;
所述判断模块,用于基于形变感知的关键帧池,估计当前时刻的彩色图像帧的初始相机位姿,以及判断其是否为需存储入关键帧池的关键帧;包括:提取彩色图像帧的SIFT特征描述子,遍历匹配关键帧池中的所有关键帧,将匹配关键点对最多的关键帧作为最佳匹配帧;
计算彩色图像帧与最佳匹配帧间的位姿变换,获取初始相机位姿;
基于彩色图像帧与最佳匹配帧之间的匹配关键点对的FPFH特征描述子,对彩色图像帧的形变程度进行估计,并将估计得到形变度量值存储在缓存池中;
基于最佳匹配帧,判断彩色图像帧的质量;其中判断指标包括该彩色图像帧上匹配关键点的数量和/或匹配关键点所构成二维凸包的面积;
若当前时刻的彩色图像帧的形变度量值小于相应阈值,且质量大于相应阈值,则将其判断为关键帧并存储入关键帧池中;
若超过预设时间仍无新的关键帧存储入关键帧池中,在当前缓存池中寻找形变度量值最小的彩色图像帧存储入关键帧池中,并清空缓存池中的数据。
6.一种存储介质,其特征在于,其存储有用于基于三维高斯溅射的腹腔镜手术场景三维重建的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1 4任一项所述的~腹腔镜手术场景三维重建方法。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1 4任一项所述的腹腔镜手术场景三维重建方法。
~