Point-E: генератор 3D-моделей — что умеет и что нужно для запуска

Point-E — это генератор трёхмерных моделей от OpenAI, который создаёт 3D-объекты по текстовому описанию или изображению. В отличие от многих систем, работающих напрямую с полигональной сеткой, Point-E сначала генерирует облако точек, а затем преобразует его в mesh. Код проекта открыт.

Что умеет

Авторы описывают подход как «point cloud diffusion for 3D model synthesis» — диффузия облака точек для синтеза трёхмерных моделей.

• Генерация 3D-объекта по текстовому запросу.
• Генерация 3D-объекта на основе входного изображения.
• Двухэтапный процесс: сначала создаётся цветное облако точек, затем на его основе строится полигональная сетка (mesh).

Детальных метрик качества или скорости генерации авторы в репозитории не указывают.

Что нужно для запуска

• Платформа: локальный запуск на собственном оборудовании. Облачной версии нет.
• Язык: Python.
• Лицензия: MIT.
• Оборудование: авторы не указывают точных минимальных требований к оперативной памяти или GPU. Для работы с моделями машинного обучения такого класса обычно требуется дискретный GPU с достаточным объёмом видеопамяти.
• Код: доступен в репозитории github.com/openai/point-e. Последнее изменение кода зафиксировано 4 июля 2024 года.

Кому подойдёт

Проект будет полезен разработчикам и исследователям, которые хотят разобраться в пайплайне генерации 3D-моделей через диффузию облака точек, или тем, кому нужна быстрая «болванка» для последующей доработки. Открытая лицензия MIT позволяет встраивать код в коммерческие продукты.

Не подойдёт тем, кто ожидает получить финальную высокополигональную модель с чистой топологией и текстурами без ручной постобработки. Также проект не рассчитан на пользователей без технического бэкграунда: графического интерфейса нет, требуется умение запускать Python-скрипты и, желательно, наличие подходящего GPU.

Point-E интересен как исследовательский инструмент и пример практической реализации синтеза 3D-форм через промежуточное представление в виде облака точек. Для продакшен-пайплайнов результат, скорее всего, потребует дополнительной обработки.