利索能及
我要发布
收藏
专利号: 2024116763726
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,执行如下步骤S1‑步骤S7,完成对目标场景的三维重建:步骤S1:从不同视角获取目标场景的真实图像,通过SfM方法生成稀疏点云,并将稀疏点云初始化为多个3D高斯,3D高斯的属性包括在三维空间中的中心位置、大小、在空间中的形状、颜色、透明度、可学习特征;

步骤S2:构建掩码生成网络和判别网络,掩码生成网络基于3D高斯的可学习特征,选择被消除的3D高斯,基于数据驱动生成消除部分3D高斯的渲染图,输出掩码;判别网络用于判断消除部分3D高斯的渲染图与真实图像的差异;

步骤S3:构建可微光栅渲染器,用于优化3D高斯的属性;

步骤S4:随机选取一个视角,将该视角的真实图像输入可微光栅渲染器,通过可微光栅渲染器渲染该视角下的3D高斯,生成完整3D高斯渲染图;

步骤S5:掩码生成网络根据3D高斯的可学习特征和视角信息输出3D高斯的重要性评分,根据阈值生成掩码;使用生成的掩码消除特定的3D高斯;获得经过高斯消除的图像,对经过高斯消除的图像进行渲染,生成消除部分3D高斯的渲染图;

步骤S6:判别网络比较完整3D高斯渲染图、消除部分3D高斯的渲染图和真实图像;构建掩码生成网络、判别网络和场景重建的损失函数,通过反向传播,采用Adam优化器实现对掩码生成网络以及判别网络参数及3D高斯的属性迭代优化与更新优化;

步骤S7:判断是否达到预设迭代次数,若达到,则进行高斯削减阶段,基于掩码生成网络生成的掩码和重要性加权采样方法,计算3D高斯的总重要性得分,评价3D高斯对目标场景的贡献,筛选总重要性得分大于预设值的3D高斯进行保留,消除其他3D高斯,输出优化后的高斯表示;

若未达到预设迭代次数,则进行高斯增长阶段,筛选重建不完全的3D高斯,根据尺度大小进行处理,对尺度大于预设值的3D高斯进行自适应分裂,其他3D高斯则复制一份;随后返回步骤S2继续迭代,直至达到预设迭代次数,完成对目标场景的三维重建。

2.根据权利要求1所述的基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,步骤S1中所述的3D高斯的定义如下式:;

式中,Gi(x)为3D高斯,定义为一个具有特定属性的椭球体,x表示椭球体所在区域内的每个点,μi、Σi为3D高斯的属性,其中,μi为3D高斯在三维空间中的中心位置;Σi表示大小为 协方差矩阵,定义3D高斯的大小,以及其在空间中的形状;

3D高斯的属性还包括颜色、透明度、可学习特征,其中可学习特征Fi用九维的一阶张量表示。

3.根据权利要求1所述的基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,步骤S2中所述的掩码生成网络和判别网络的结构和作用如下:掩码生成网络采用tiny‑cuda‑nn实现,使用ReLU作为激活函数,掩码生成网络的输入包括3D高斯的可学习特征 、视角信息,掩码生成网络根据可学习特征决定各3D高斯应被保留或消除;掩码生成网络根据视角信息,处理3D高斯并生成消除部分3D高斯的渲染图,输出掩码;

判别网络采用卷积神经网络结构,将生成的消除部分3D高斯的渲染图与真实图像进行比较,并输出判别结果,掩码生成网络通过最小化判别网络的反馈,逐步优化生成的掩码。

4.根据权利要求1所述的基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,步骤S5的具体过程如下:步骤S5.1:掩码生成网络采用两层的多层感知机,记作 ,掩码生成网络输入可学习特征 和视角信息 ,生成对应的3D高斯的重要性评分 ,重要性评分生成过程如下:

其中, 表示将可学习特征Fi和视角信息θi进行拼接,作为掩码生成网络的输入,Ii表示3D高斯的重要性评分;

步骤S5.2:每个3D高斯的重要性评分Ii被用于生成掩码Mi,生成公式如下:;

其中, 是指示函数, 是停止梯度操作,threshold表示阈值;

阈值threshold由下式计算:

其中, , ,N为当前3D高斯数量, 为比例系数,为最大3D高斯数量;

步骤S5.3:生成的掩码Mi用来选择和处理对应的3D高斯,采用阈值threshold对3D高斯进行筛选,经过筛选的3D高斯将继续通过3D高斯点算法进行渲染,生成消除部分3D高斯的渲染图。

5.根据权利要求1所述的基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,步骤S6中掩码生成网络的损失函数LossG如下式:;

其中, 表示可学习特征的L2范数,σ表示Sigmod操作;

判别网络的损失函数LossD如下式:

其中,LossR表示真实图像的损失,LossF表示消除部分3D高斯的渲染图的损失;

判别网络接收两种图像作为输入:真实图像ImgR和消除部分3D高斯的渲染图ImgF;真实图像的损失LossR和消除部分3D高斯的渲染图的损失LossF计算公式如下:;

其中,D(ImgR)和D(ImgF)分别表示判别网络对真实图像和消除部分3D高斯的渲染图的输出,BCE表示二元交叉熵损失,MSE表示均方误差损失;

场景重建的损失函数LossRestruction如下式:;

其中,Img表示完整3D高斯渲染图,ImgR为真实图像,λ是超参数;L1表示L1损失,SSIM表示结构相似性损失;

总损失函数Losstotal如下式:

其中,λG表示掩码生成网络的超参数,λD表示判别网络的超参数。

6.根据权利要求1所述的基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,步骤S7中的高斯增长阶段,具体包括以下过程:步骤S7.1.1:筛选出尺度大于预设值的3D高斯,定义为大高斯,使用Scharr边缘检测算子计算完整3D高斯渲染图Img和真实图像ImgR的梯度,公式如下:;

式中,Gimg表示完整3D高斯渲染图Img的梯度,GImgR表示真实图像ImgR的梯度;

计算梯度差异Gd:

步骤S7.1.2:将每个大高斯的中心位置从三维空间投影到图像平面,并在投影点计算图像梯度;如果3D高斯的投影点处的梯度差异值低于最大梯度差异的25%,则该3D高斯被标记为重建不完全,公式如下:;

式中,Threshold表示阈值;

步骤S7.1.3:使用体素网格将目标场景离散化为体素,通过计算每个体素内的3D高斯数量得出空间的密度,公式如下:;

其中,dv是体素v的密度, 是体素v中的高斯数量,vol(v)是体素v的体积;

步骤S7.1.4:针对被标记为重建不完全的大高斯,基于其所在空间的密度动态调整高斯分裂数量,高斯分裂数量的公式如下:;

其中,Ni表示第i个大高斯的分裂数量,di是第i个大高斯所在空间的密度,min(D)和max(D)分别为最小和最大空间密度;

步骤S7.1.5:筛选出尺度小于或等于预设值的3D高斯,定义为小高斯,通过反向传播计算小高斯的中心位置的梯度,判断这些梯度是否小于预设阈值,针对梯度值低于预设阈值的小高斯,执行复制操作。

7.根据权利要求1所述的基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,步骤S7中的高斯削减阶段,具体包括以下过程:步骤S7.2.1:在高斯削减阶段的开始,每迭代25次,掩码生成网络为每个3D高斯Gi生成其重要性评分Ii;

步骤S7.2.2:针对掩码生成网络输出的重要性评分Ii,进行二值化处理,生成掩码Mi,掩码每25次迭代生成一次;

步骤S7.2.3:每1000次迭代执行一次重要性加权采样,每次随机选择保留95%的3D高斯;计算每个3D高斯在视角j中各像素上的混合权重和命中计数;

3D高斯Gi的混合权重ωi的计算如下式:

其中, 是指示函数,用于判断3D高斯Gi是否与从相机中心出发穿过像素(u,v)的光线ru,v相交;σi为3D高斯Gi的不透明度,H和W分别为图像的高和宽;

3D高斯Gi的命中计数ci的计算如下式:

计算3D高斯Gi的总重要性得分Si如下式:

式中,Nv表示视角总数;

针对每个3D高斯的总重要性得分进行归一化,公式如下:;

式中, 为归一化后的3D高斯Gi的总重要性得分。

8.根据权利要求1所述的基于数据驱动压缩与自适应分裂的高效三维重建方法,其特征在于,步骤S7中的预设迭代次数为总迭代次数的一半。