Michelangelo: генератор 3D-моделей — что умеет и что нужно для запуска

Michelangelo — это генератор трёхмерных моделей с открытым кодом, созданный командой NeuralCarver. Инструмент решает задачу создания 3D-форм по текстовому описанию или по изображению, опираясь на выровненное скрытое представление, объединяющее форму, картинку и текст.

Что умеет

• Генерация 3D-формы по текстовому описанию (text-to-3D).
• Генерация 3D-формы по входному изображению (image-to-3D).
• Использует подход, который авторы называют «alignment-before-generation» — выравнивание представлений формы, изображения и текста до этапа генерации.
• В основе лежат модели-трансформеры.

Что нужно для запуска

• Код написан на Python и открыт под лицензией GPL-3.0.
• Репозиторий доступен по адресу github.com/NeuralCarver/Michelangelo.
• Последнее изменение кода датировано 10 апреля 2024 года; репозиторий создан 29 июня 2023 года.
• Точные требования к оборудованию (GPU, объём видеопамяти, оперативной памяти) и перечень зависимостей авторы в паспорте не указывают.

Кому подойдёт

Инструмент будет полезен исследователям и разработчикам, которые работают с порождающими моделями 3D-форм и хотят изучить или доработать метод выравнивания скрытых представлений. Открытая кодовая база позволяет адаптировать решение под собственные задачи. Тем, кто ищет готовое приложение с графическим интерфейсом «в один клик», Michelangelo не подойдёт — это исследовательский код, требующий самостоятельной настройки окружения и запуска.

Авторы представляли Michelangelo на конференции NeurIPS 2023. Дополнительные материалы и описание метода можно найти на сайте проекта: neuralcarver.github.io/michelangelo/.