habitat-gs: генератор 3D-моделей — что умеет и что нужно для запуска

Habitat-GS — это генератор трёхмерных моделей с открытым кодом от ZJU3DV. Он предназначен для создания высокодетализированных сцен и динамических аватаров на основе гауссова сплаттинга. Основная задача инструмента — обеспечить среду для навигации роботов и воплощённого ИИ, где агент взаимодействует с реалистичной геометрией и подвижными объектами.

Что умеет

По описанию авторов, Habitat-GS распознаёт ассеты сцен по суффиксу имени файла: сцена должна заканчиваться на .gs.ply или .3dgs.ply. Это указывает на работу с форматом экспорта ply.

Инструмент поддерживает рендеринг аватаров с использованием явных гауссиан и CUDA LBS. По заявлению разработчиков, на этапе выполнения нейронный проход вперёд не используется. В сгенерированном файле driver.pkl содержатся предварительно вычисленные матрицы соединений для рендеринга, а также прокси-капсулы, которые применяются для обработки динамических препятствий на уровне NavMesh. Это, по описанию авторов, гарантирует, что агент не сможет пройти сквозь гауссовых аватаров.

Репозиторий помечен тегами: computer-vision, eccv2026, embodied-ai, embodied-navigation, gaussian-avatar, gaussian-splatting, navigation, robotics, simulator, vln, vln-ce. Авторы описывают проект как симулятор навигации высокой точности с динамическим гауссовым сплаттингом, представленный на ECCV 2026.

Что нужно для запуска

Платформа по описанию автора — CUDA. Это следует из упоминания CUDA LBS в описании рендеринга аватаров.

Требование к видеопамяти по описанию автора — 80 ГБ на GPU при стандартном полном дообучении с конфигурацией DeepSpeed ZeRO-2. Авторы рекомендуют A100 80GB. Для потребительских GPU, таких как RTX 3090 или 4090, предлагается флаг --lora, который включает обучение LoRA с меньшим потреблением памяти.

Код написан на C++. Репозиторий создан 14 апреля 2026 года, последнее изменение кода — 15 сентября 2026 года.

Лицензия кода — Project Registration License v1.0. Условия лицензии разрешают использовать, копировать, изменять и распространять программное обеспечение, в том числе в коммерческих целях. Для личного, учебного и исследовательского использования регистрация не требуется. Для использования в проектах компаний и организаций нужна бесплатная предварительная регистрация через форму; разрешение выдаётся автоматически. Товарные знаки и патенты не лицензируются.

Кому подойдёт

Habitat-GS подойдёт исследовательским группам и лабораториям, которые занимаются воплощённой навигацией, робототехникой и обучением агентов в реалистичных средах. Наличие динамических гауссовых аватаров и обработки препятствий делает его применимым для задач, где важны подвижные объекты и взаимодействие с ними.

Инструмент вряд ли подойдёт тем, кто ищет лёгкий генератор статичных 3D-моделей для быстрого экспорта в игровые движки или для работы на обычном ноутбуке. Требование 80 ГБ видеопамяти при полном дообучении ограничивает использование без доступа к серверным GPU. Режим LoRA снижает порог, но всё равно предполагает наличие дискретной видеокарты уровня RTX 3090 или 4090.

Habitat-GS — это специализированный инструмент для симуляции навигации с динамическим гауссовым сплаттингом. Его сильная сторона — связка рендеринга аватаров и обработки препятствий в едином пайплайне. При этом высокие требования к видеопамяти при полном обучении делают его в первую очередь выбором для команд с доступом к серверным ускорителям.