1.一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:包括以下步骤:
S1、使用Colmap开源软件包根据图像序列重建出三维点云数据和相机位置信息;
S2、利用生成的三维点云数据和相机位置信息,使用3DGS从三维点云数据训练出高斯核来表示真实的三维场景;
S3、使用DEVA模型,分割原始图像序列,生成每个图像的灰度图,使用不同的灰度值表示图像中的不同物体,不同图像中相同物体的灰度相同,使用分割出的图像灰度表示场景中物体的类别;
S4、在训练好的高斯核上,使用灰度图像训练出一个32位的类别特征;
同时使用神经网络训练出一个辨别器,辨别器的输入为32位的类别特征,输出值的范围为0‑255,表示物体类别;
S5、使用训练好的辨别器,传入每个高斯核的32位特征,得到每个高斯核的类别;
根据类别编码或者直接从任意角度的图像中选择物体,提取出指定类别的高斯核;
S6、使用KNN算法,从提取出来的高斯核中删除离群高斯核,减少生成图像的噪点。
2.根据权利要求1所述的一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:每个所述高斯核均包含位置μ、协方差矩阵Σ、透明度α和球谐函数信息SH,颜色信息用球谐函数表示;在特定的相机位姿下,3DGS可以将3D的高斯核投影到2D的成像平面,然后通过α混合方法将映射到像素上的N个有序高斯核的颜色叠加,从而计算出像素的颜色,计算公式为:其中c表示计算出的像素颜色,ci表示每个高斯核上携带的颜色信息,αi表示每个高斯核的透明度。
3.根据权利要求2所述的一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:所述步骤S3包括:对于输入图像I,对应的2D分割掩码M可以表示为:Mp=DEVA(I)(1.2)
其中,p表示图像的所有像素,Mp表示图像中每个像素的类别编码。
4.根据权利要求3所述的一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:所述步骤S4包括以下步骤:S4.1、在训练好的高斯核上额外训练一个类别特征编码,类别特征编码是一个长度为
32位的张量,这个类别特征编码能区分场景中的不同物体;
S4.2、将高斯核的类别特征编码映射到图像上,然后求出图像预测类别和真实类别的损失;
S4.3、训练一个多层感知器作为辨别器将32位的特征编码恢复到原始的256位信息。
5.根据权利要求4所述的一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:所述步骤S4.2包括:借助3DGS中的3D高斯渲染器,将类别特征编码以可微分的映射到图像的每个像素,结合高斯中的α混合渲染方式,计算每个高斯核对图像像素的影响权重,然后将映射到像素上的N个有序高斯核特征编码累加,得到每个像素的特征编码,与颜色特征的计算过程类似,类别特征编码的计算方式为:其中,F表示最终渲染在图像每个像素上的32位类别特征编码,fi表示每个高斯核上的类别特征编码,αi表示每个高斯核的透明度。
6.根据权利要求5所述的一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:所述步骤S4.3包括:假设图像I的像素数量为P,Ip表示图像的每个像素,h(Ip)表示辨别器对32位特征进行映射后得到的256位特征,g(h(Ip))表示将256位特征通过softmax函数转化为概率分布,则图像中每个像素的类别可以表示为:其中,g(h(Ip))c表示概率分布中第c个类别的概率, 表示图像中每个像素的预测类别,得到预测类别之后,利用真实的图像类别,可以计算出真实类别与预测类别之间的交叉熵损失用于反向传播,计算方式为:其中,Li表示训练的第i张图像在分类任务中的交叉熵损失。
7.根据权利要求6所述的一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:所述步骤S5使用直接从任意角度的图像中选择物体时,由于三维场景在屏幕上是以图像的方式展示的,因此首先可以使用SAM模型对展示在屏幕上的图像I进行分割,将点击位置作为输入提示β得到点击物体在2维空间获取物体的掩膜,可以表示为:M=SAM(I,β)(1.6)其中,M表示结合输入提示得到的分割掩膜;
由于展示图像是使用3DGS模型通过高斯核映射得到,因此可以将高斯核上训练好的32位类别特征编码通过映射存储在每个像素上,使用之前训练好的辨别器,结合分割掩膜,可以得到分割出来的每个像素的类别,Fp=h(I(M))(1.7)
其中,Fp表示分割图像每个像素的类别集合,I(M)表示展示图像的掩膜部分,通过统计每个类别在掩膜部分中出现的频率确定分割物体的类别,从而确定当前被分割物体的类别编码,类别编码的计算方式可以表示为:其中,δ(x,y)为克罗内克delta函数,当x=y时返回1,否则返回0,再通过类别编号找到属于该类别的高斯核,即可实现三维模型分割。
8.根据权利要求7所述的一种基于3D Gaussian Splatting的三维场景任意角度模型分割方法,其特征在于:所述步骤S6包括:选择合适的K值,计算出分割出来的每个高斯核和距离最近的K个高斯核的平均距离,选择合适的K值和距离度量方法,可以够识别并删除不属于分割模型的噪点;
假设场景中的高斯核数量为N,使用Pi表示第i个高斯核的坐标,K表示最近邻高斯核的个数,D表示平均距离阈值;首先,计算每个点的最近K个邻居点的平均距离Di:其中,dij表示第i个高斯核Pi与第j个最近邻居点之间的距离;接下来通过距离阈值D删除噪点,删除噪点之后得到的新的高斯核可以表示为:{Pi|Di≥D}(1.10)。