Test-time guidance 改善 image-to-3D 模型在部分观测下的几何

研究人员提出了一种免训练方法，可以在生成阶段考虑物体的部分几何观测，而无需对模型进行微调。该方法在 arXiv 上的论文 Guiding Image-to-3D Generation with Test-Time Partial Observations 中进行了描述。作者通过基于 occupancy 表示的 ray-consistent 似然来引导生成，结合了关于表面和自由空间的证据。该方法已在 SAM 3D 及其 multi-view 扩展上进行了验证。作者没有公开代码。

这意味着什么

这篇文章涉及 image-to-3d 任务，我们的 3D 生成器 板块正是围绕这一任务。在指南的工具中，解决这一任务的有 OpenLRM、Hunyuan3D（混元3D） 2.1 和 TRELLIS。 文章中的方法是对现成模型的附加层，而不是一个新模型。它不需要重新训练，并且据作者设想，可以应用于使用 occupancy 表示的不同生成器。在我们的参数表中，这三个工具都没有被标注为使用 occupancy：OpenLRM 和 TRELLIS 处理潜在表示，Hunyuan3D（混元3D） 2.1 处理形状和 PBR 材质。作者没有验证该方法与它们的兼容性。 目前还没有可供复现的实用代码，因此无法评估其对指南中具体工具的适用性。如果作者发布实现，就可以检验该方法与 OpenLRM、Hunyuan3D（混元3D） 2.1 或 TRELLIS 架构的契合程度。