CapFrame 将帧的文本描述转换为 3D Gaussian Splatting 的相机位姿

研究人员提出了 CapFrame——一种根据文本指令在 3D Gaussian Splatting 场景中定位 6-DoF 相机位姿的方法，使渲染出的画面与描述相符。该工作发表在 arXiv 上，代码已开源。作者提出了一个新任务 Text-Instructed Viewpoint Grounding（TIVG），并通过 Retrieve-Translate-Refine 流程来解决它：首先借助 MLLM 筛选出相关视角，然后将指令转换为关于朝向与构图的几何伪标签，之后通过可微优化对相机位姿进行细化。详情见arXiv 上的论文。

这意味着什么

CapFrame 与我们指南中的 Gaussian Splatting (3DGS) 直接相关：该方法运行在此 3D 生成器所创建的场景之上。3DGS 的参数表中指出，这是 Inria 和 MPII 的开源实现，用 Python 编写并带有 CUDA 扩展，训练到论文中的质量需要 24 GB 显存。CapFrame 并不改变场景训练过程本身——它增加了一个后续阶段：根据已完成的 3DGS 场景和文本查询来寻找相机位姿。 对指南的用户来说，这意味着 3DGS 场景中的虚拟相机控制可能不再需要手动操作。目前 3DGS 的参数表中没有任何关于用语言控制观察点的内容——原始实现专注于新视角合成，而不是如何根据描述选择画面。CapFrame 填补了这一空白，但它是作为外部工具，而不是 3DGS 主仓库的一部分。 论文中的局限值得注意：作者在 38 个场景和 135 条指令上评估了该方法，这不足以判断其在任意场景上的表现。运行所需的显存要求，在集成到工作流程之前需要单独核实。