LGM: генератор 3D-моделей — что умеет и что нужно для запуска

LGM (Large Multi-View Gaussian Model) — это генератор трёхмерных моделей с открытым кодом от команды 3DTopia. Инструмент решает задачу text-to-3D, то есть создаёт объёмные сцены по текстовому описанию. Авторы представляют разработку как модель для создания высокодетализированного 3D-контента, отмеченную на конференции ECCV 2024.

Что умеет

• Генерирует трёхмерные модели по текстовому описанию (text-to-3D).
• По меткам репозитория также заявлена работа с режимом image-to-3D.
• Использует представление на основе Gaussian Splatting, что, по описанию автора, нацелено на высокое разрешение результата.

Что нужно для запуска

• Платформа: локальный запуск, код написан на Python с использованием библиотеки PyTorch.
• Память: самый большой файл весов занимает 1,5 ГБ, полный набор весов — 4,6 ГБ. Требования к оперативной и видеопамяти авторы не указывают.
• Лицензия: и код, и веса распространяются по лицензии MIT.
• Репозиторий: github.com/3DTopia/LGM, модель доступна на huggingface.co/ashawkey/LGM. Демонстрационная страница проекта — me.kiui.moe/lgm.

Кому подойдёт

Инструмент будет полезен исследователям и разработчикам, которые хотят встроить генерацию 3D в свои пайплайны или изучить современный подход к задаче text-to-3D. Открытая лицензия MIT позволяет использовать код и веса в коммерческих проектах. Режим image-to-3D расширяет сценарии применения.

Не подойдёт тем, кто ищет готовое приложение с интерфейсом «в один клик» или облачный сервис без необходимости локальной настройки. Для запуска потребуется среда Python и PyTorch, а также достаточный объём видеопамяти, который авторы не специфицируют — его придётся определять опытным путём.

LGM предлагает открытую основу для экспериментов с генерацией трёхмерного контента. Код и веса доступны для загрузки, последнее обновление репозитория датировано августом 2024 года.