Zero123++: генератор 3D-моделей — что умеет и что нужно для запуска

Zero123++ — это генератор трёхмерных моделей с открытым кодом, созданный командой SUDO-AI. Инструмент решает задачу получения согласованных многовидовых проекций объекта по одному-единственному изображению. Сами авторы описывают проект как «базовую диффузионную модель для получения согласованных многовидовых проекций из одного изображения».

Что умеет

На основе загруженной картинки Zero123++ генерирует несколько видов объекта с разных ракурсов. Эти проекции согласованы между собой, что позволяет использовать их как промежуточный этап для дальнейшего построения трёхмерной геометрии. В метках репозитория указаны направления image-to-3d и text-to-3d, однако в основном описании акцент сделан именно на генерации по изображению. Детали реализации text-to-3d авторы не раскрывают.

Что нужно для запуска

Код написан на Python и распространяется под лицензией Apache-2.0. Репозиторий доступен на github.com/SUDO-AI-3D/zero123plus, веса модели — на huggingface.co/sudo-ai/zero123plus-v1.2. Для работы потребуется библиотека diffusers. Полный набор файлов весов занимает 5.2 ГБ, самый крупный из них — 3.2 ГБ. По заявлению разработчика, для выполнения примера требуется около 5 ГБ видеопамяти. Локальный запуск возможен, облачная инфраструктура не обязательна.

Кому подойдёт

Инструмент будет полезен исследователям и разработчикам, которые экспериментируют с пайплайнами image-to-3D и нуждаются в генерации многовидовых проекций как промежуточного представления. Открытая кодовая база позволяет встраивать модель в собственные проекты. Тем, кто ожидает готового трёхмерного меша на выходе, решение не подойдёт — Zero123++ выдаёт именно набор плоских изображений с разных ракурсов, а не финальную 3D-модель. Также стоит учитывать, что последнее изменение кода датируется февралём 2024 года, и с тех пор репозиторий не обновлялся.

Zero123++ занимает свою нишу как компонент более крупного конвейера по созданию трёхмерного контента. Он не заменяет полноценный 3D-редактор и не даёт готовой модели, но решает конкретную задачу генерации согласованных видов, которую затем можно передать дальше по пайплайну.