论文作者在
VCAR: Training-Free 3DGS Segmentation via View Completeness and Axis-Aware Boundary Refinement 中提出了一种用于 3D Gaussian Splatting 场景语义分割的方法,该方法无需针对每个场景进行训练。该方法是两阶段的:首先通过加权多视角投票进行粗略的物体定位,然后利用围绕物体按球面螺旋生成的额外视角来细化边界。一个独立的 Axis-aware Boundary Refinement 模块会沿主导轴压缩各向异性高斯体,以减少边界模糊。代码已开源。
这意味着什么
这项工作直接涉及
Gaussian Splatting (3DGS)——这是构建分割所基于的基础方法。在我们的 3DGS 参数表中,它被描述为由 Inria 和 MPII 开发的 3D 生成器,开源,据作者描述,需要 24 GB 显存才能训练到评估质量,并通过 PyTorch 和 Python 中的 CUDA 扩展运行。VCAR 并未改变 3DGS 本身,而是在其之上添加了一个无需训练的分割阶段,从而省去了针对每个场景进行微调的成本。
3DGS 参数表中没有的正是语义分割:原始方法可以重建场景的几何形状和外观,但不会按语义标注物体。VCAR 作为附加组件填补了这一空白,对用户而言,这意味着如果场景已经重建,3DGS 场景分割可以在无需额外训练的情况下执行。开发者在摘要中并未说明 VCAR 本身的内存和平台要求。
该方法已在 NVOS 和 LERF 数据集上进行了验证,作者声称其精度和效率达到了当前先进方法的水平。对于使用 3DGS 并需要在场景中标注物体的用户来说,这是一个无需针对每个新场景进行训练运行的方案。
方法的工作原理。示意图根据这篇简讯绘制。