Nerfstudio: генератор 3D-моделей — что умеет и что нужно для запуска

Nerfstudio — это открытая платформа для создания трёхмерных сцен методом Neural Radiance Fields (NeRF) и родственными техниками вроде Gaussian Splatting. Инструмент ориентирован на исследователей и разработчиков, которым нужна не просто «кнопка», а среда, где можно собирать пайплайн реконструкции из готовых модулей, менять компоненты и сравнивать результаты.

Что умеет

• Восстанавливать трёхмерную геометрию и вид сцены по набору фотографий или видео — авторы называют это «collaboration friendly studio for NeRFs».
• Поддерживает несколько методов реконструкции: классические NeRF-модели и Gaussian Splatting (это видно по меткам репозитория — nerf, gaussian-splatting, 3d-reconstruction).
• Даёт возможность обучать модель, визуализировать результат и экспортировать геометрию (mesh) — точный список форматов экспорта авторы в паспорте не указывают.
• Код написан на Python с использованием PyTorch, что позволяет встраивать Nerfstudio в существующие пайплайны машинного обучения.
• Проект сопровождается документацией на отдельном сайте: docs.nerf.studio.

Что нужно для запуска

• Видеокарта NVIDIA с CUDA. Разработчик заявляет прямо: «You must have an NVIDIA video card with CUDA installed on the system». Библиотека тестировалась с версией CUDA 11.8.
• Операционная система — авторы не указывают жёстких ограничений, но из требования CUDA следует, что речь идёт о Windows или Linux.
• Объём видеопамяти и оперативной памяти в паспорте не назван; можно предположить, что требования зависят от разрешения снимков и выбранного метода.
• Установка производится из репозитория: github.com/nerfstudio-project/nerfstudio.
• Лицензия кода: Apache-2.0. Это разрешает коммерческое использование и модификацию.
• Это локальный инструмент, а не облачный сервис — запустить его без собственного оборудования с NVIDIA GPU не получится.

Кому подойдёт

Инструмент рассчитан на специалистов по компьютерному зрению, исследователей и инженеров, которые понимают, как работают NeRF и Gaussian Splatting, и готовы настраивать пайплайн под свою задачу. Подойдёт тем, кому нужна воспроизводимость экспериментов и возможность менять компоненты системы.

Не подойдёт художникам или дизайнерам, которые ищут готовое приложение с интерфейсом «загрузил фото — получил модель». Также не подойдёт пользователям без видеокарты NVIDIA — на AMD или Intel инструмент, по заявлению разработчика, не заработает.

Nerfstudio — это исследовательский фреймворк с открытым кодом, который даёт полный контроль над процессом реконструкции, но требует понимания внутренней механики методов и наличия совместимого оборудования.