Test-time guidance улучшает геометрию image-to-3D моделей по частичным наблюдениям

Исследователи представили training-free метод, который позволяет учитывать частичные геометрические наблюдения объекта на этапе генерации без дообучения модели. Подход описан в статье Guiding Image-to-3D Generation with Test-Time Partial Observations на arXiv. Авторы направляют генерацию через ray-consistent likelihood поверх occupancy-представления, комбинируя свидетельства о поверхности и свободном пространстве. Метод проверен на SAM 3D и его multi-view расширении. Код авторы не выкладывали.

Что это значит

Статья касается задачи image-to-3d, которой посвящён наш раздел генераторов 3D-моделей. Среди инструментов справочника эту задачу решают OpenLRM, Hunyuan3D 2.1 и TRELLIS. Метод из статьи — это надстройка над готовой моделью, а не новая модель. Он не требует переобучения и, по замыслу авторов, может применяться к разным генераторам, которые используют occupancy-представление. В наших паспортах ни один из трёх инструментов не указан как использующий occupancy: OpenLRM и TRELLIS работают с латентными представлениями, Hunyuan3D 2.1 — с формой и PBR-материалами. Совместимость метода с ними авторы не проверяли. Практического кода для воспроизведения пока нет, поэтому оценить применимость к конкретным инструментам из справочника нельзя. Если авторы опубликуют реализацию, можно будет проверить, насколько подход стыкуется с архитектурами OpenLRM, Hunyuan3D 2.1 или TRELLIS.