CPU3D3D、视频与音频的 AI 工具

VCAR:通过视角完整性与轴向边界细化实现无需训练的 3DGS 分割

论文作者在 VCAR: Training-Free 3DGS Segmentation via View Completeness and Axis-Aware Boundary Refinement 中提出了一种用于 3D Gaussian Splatting 场景语义分割的方法,该方法无需针对每个场景进行训练。该方法是两阶段的:首先通过加权多视角投票进行粗略的物体定位,然后利用围绕物体按球面螺旋生成的额外视角来细化边界。一个独立的 Axis-aware Boundary Refinement 模块会沿主导轴压缩各向异性高斯体,以减少边界模糊。代码已开源。

这意味着什么

这项工作直接涉及 Gaussian Splatting (3DGS)——这是构建分割所基于的基础方法。在我们的 3DGS 参数表中,它被描述为由 Inria 和 MPII 开发的 3D 生成器,开源,据作者描述,需要 24 GB 显存才能训练到评估质量,并通过 PyTorch 和 Python 中的 CUDA 扩展运行。VCAR 并未改变 3DGS 本身,而是在其之上添加了一个无需训练的分割阶段,从而省去了针对每个场景进行微调的成本。 3DGS 参数表中没有的正是语义分割:原始方法可以重建场景的几何形状和外观,但不会按语义标注物体。VCAR 作为附加组件填补了这一空白,对用户而言,这意味着如果场景已经重建,3DGS 场景分割可以在无需额外训练的情况下执行。开发者在摘要中并未说明 VCAR 本身的内存和平台要求。 该方法已在 NVOS 和 LERF 数据集上进行了验证,作者声称其精度和效率达到了当前先进方法的水平。对于使用 3DGS 并需要在场景中标注物体的用户来说,这是一个无需针对每个新场景进行训练运行的方案。
VCAR:无需训练的 3DGS 分割 视场完整性与轴向边界细化 3DGS 场景 重建的 几何与视角 无需标注 粗定位 加权 多视角 投票 边界细化 沿球面 螺旋 视角 Axis-aware Boundary Refinement 高斯压缩 场景分割 无需训练 不需要 针对场景 微调 验证 NVOS 与 LERF 数据集 精度 开源 可供 使用 获取 VCAR — 基于 3DGS 的无训练语义分割扩展
方法的工作原理。示意图根据这篇简讯绘制。

相关阅读