RGMV улучшает мультивью-генерацию через проверку надёжности геометрии

На arXiv опубликована работа Reliability-Guided Multi-View Generation (RGMV), которая решает проблему неточной геометрии при генерации нескольких видов объекта из одного изображения. Авторы предлагают параметрически свободный модуль Self-Consistency Geometry Gate, который генерирует несколько предсказаний геометрии при разных стохастических конфигурациях и измеряет их согласованность, чтобы получить карту надёжности. Эта карта управляет тем, насколько сильно геометрические признаки влияют на синтез RGB-изображений. Код выложен в открытый доступ. arXiv

Что это значит

RGMV — это метод для мультивью-генерации изображений, а не готовый генератор 3D-моделей. В нашем справочнике ИИ-инструментов для 3D пока нет инструментов, которые напрямую используют этот подход. Ближайшие по теме инструменты — генераторы image-to-3d. Hi3D v1.0 строит 3D-геометрию на основе Sparc3D, весит 7.2 ГБ и распространяется по лицензии, которая разрешает коммерческое использование, но требует отдельного соглашения при превышении 200 000 MAU или выручке от 1 000 000 USD в месяц. Hunyuan3D 2.1 от Tencent занимает 13.9 ГБ и требует от 10 до 29 ГБ видеопамяти в зависимости от этапа генерации; его лицензия разрешает коммерцию до 1 млн MAU, но не действует в ЕС, Великобритании и Южной Корее. Stable Fast 3D от Stability AI весит 3.7 ГБ, требует около 6 ГБ видеопамяти и бесплатен для коммерческого использования при годовой выручке до 1 млн долларов. RGMV решает задачу согласованности видов на промежуточном этапе — до того, как геометрия превращается в меш. Если подход приживётся, его могут встроить в будущие версии генераторов 3D-моделей, но в текущих паспортах таких интеграций нет.