RGMV 通过几何可靠性检查改进多视图生成

arXiv 上发布了一篇论文 Reliability-Guided Multi-View Generation（RGMV），它解决了从单张图像生成物体多个视图时几何不准确的问题。作者提出了一个无参数模块 Self-Consistency Geometry Gate，它在不同的随机配置下生成多个几何预测，并测量它们之间的一致性，从而得到一张可靠性图。这张图控制几何特征对 RGB 图像合成的影响程度。代码已开源发布。arXiv

这意味着什么

RGMV 是一种用于多视图图像生成的方法，而不是现成的 3D 生成器。在我们的3D 人工智能工具指南中，目前还没有直接采用这种方法的工具。 最相关的工具是 image-to-3d 生成器。Hi3D v1.0 基于 Sparc3D 构建 3D 几何，大小为 7.2 GB，其许可证允许商业使用，但当月活跃用户超过 200 000 或月收入超过 1 000 000 USD 时，需要另行签订协议。腾讯的 Hunyuan3D 2.1 占用 13.9 GB，根据生成阶段的不同需要 10 到 29 GB 显存；其许可证允许在月活跃用户不超过 100 万的情况下商业使用，但在欧盟、英国和韩国不适用。Stable Fast 3D 由 Stability AI 开发，大小为 3.7 GB，需要约 6 GB 显存，在年收入不超过 100 万美元时可免费用于商业用途。 RGMV 解决的是视图一致性这一中间环节的问题——在几何被转换为网格之前。如果这种方法得到推广，它可能会被集成到未来版本的 3D 生成器中，但在当前的参数表中没有此类集成。