Shap-E: генератор 3D-моделей — что умеет и что нужно для запуска

Shap-E — это генератор трёхмерных моделей с открытым исходным кодом от OpenAI. Инструмент создаёт 3D-объекты на основе текстового описания или входного изображения, то есть решает задачу преобразования текст/изображение в трёхмерную геометрию.

Что умеет

По описанию авторов, Shap-E генерирует 3D-объекты, обусловленные текстом или изображениями. Результатом работы являются трёхмерные модели, которые можно использовать в графических приложениях. Детали о поддерживаемых форматах вывода, типах геометрии (mesh, облако точек) и максимальном разрешении текстур авторы в репозитории не указывают.

Что нужно для запуска

Код написан на Python и распространяется по лицензии MIT. Для работы потребуется локальная машина с достаточным объёмом видеопамяти GPU — конкретные требования авторы не специфицируют, но генеративные модели такого класса обычно требуют несколько гигабайт VRAM. Облачной версии нет, запуск только локальный. Исходный код доступен в репозитории github.com/openai/shap-e. Последнее изменение кода датировано 22 июня 2024 года.

Кому подойдёт

Инструмент будет полезен разработчикам и исследователям, которые экспериментируют с генерацией 3D-контента и готовы работать с Python-кодом. Открытая лицензия MIT позволяет встраивать Shap-E в собственные проекты и дорабатывать под свои задачи. Не подойдёт художникам и дизайнерам, ожидающим готового приложения с графическим интерфейсом — авторы не предоставляют standalone-сборку. Также не стоит рассчитывать на инструмент тем, у кого нет GPU с достаточным объёмом памяти или кто ищет облачный сервис без необходимости локальной установки. Shap-E занимает нишу исследовательского инструмента с открытым кодом. Он даёт возможность изучать подходы к генерации 3D по тексту и изображениям, но требует технической подготовки для запуска и интеграции.