CPU3D3D、视频与音频的 AI 工具

Cube-Splat 发布开源全景 Gaussian Splatting SLAM

arXiv 上发布了一篇关于 Cube-Splat 的论文——一种基于 3D Gaussian Splatting 的同步定位与建图(SLAM)方法,面向 360 度全景图像。作者将每个全景帧拆分为由四个共享同一光心的虚拟透视视图组成的立方体贴图,从而能够根据所有面的观测一致地更新统一的位姿状态。为评估该方法,作者提出了合成数据集 SynPano,其中包含照片级真实感的场景和参数化轨迹。详情见arXiv 上的论文

这意味着什么

Cube-Splat 发展了我们指南中 Gaussian Splatting (3DGS) 所属的方向。来自 Inria 和 MPII 的基础方法 3DGS 是一个开源的 3D 生成器,它在带有 CUDA 扩展的 PyTorch 环境中训练,要达到原论文所声称的质量需要 24 GB 显存。基础代码的许可证仅允许非商业研究用途;商业使用需要获得许可方的明确同意。 Cube-Splat 与基础 3DGS 的不同之处在于任务设定:它不是根据一组照片离线生成模型,而是实时同步进行相机定位与建图,且专门面向全景相机。作者已将源代码和 SynPano 数据集公开,但论文描述中未说明 Cube-Splat 的显存要求、运行平台和代码许可证。 对于正在为自己的任务寻找工具的读者来说,这意味着 Gaussian Splatting 家族中又出现了一种开源方法,但应用领域不同——是全景 SLAM,而非静态重建。目前尚难判断其在本地硬件上的实际可用性:作者未提供资源消耗和代码分发条件的信息。
Cube-Splat:全景 Gaussian Splatting SLAM 面向 360° 图像的同步定位与建图 全景帧 360° 图像 立方体贴图 虚拟透视视图 Gaussian Splatting 场景 3D 表示 SLAM 定位 + 地图 位姿更新 SynPano 合成数据集 评估 开源 · 实时 · 全景相机 · 未注明资源要求
该方法的构造。示意图根据本简讯绘制。

相关阅读