video_to_world: генератор 3D-моделей — что умеет и что нужно для запуска

video_to_world — открытый генератор трёхмерных моделей, который восстанавливает 3D-миры из последовательностей, созданных видеодиффузионными моделями. Авторы описывают подход как нежёсткое выравнивание, призванное устранить внутренние трёхмерные несоответствия в сгенерированных видео. Инструмент подойдёт тем, кто работает с генеративным видео и хочет получить из него объёмную сцену.

Что умеет

По описанию автора, метод реконструирует трёхмерные миры из видео, полученных диффузионными моделями. Для этого используется нежёсткое выравнивание, которое компенсирует несогласованность кадров в трёхмерном пространстве. В репозитории проект отмечен метками 3d-reconstruction, video-diffusion и world-generation.

Экспорт обученного результата возможен в формат PLY — авторы упоминают команду для сохранения контрольной точки 3DGS в этот формат. Другие форматы экспорта в паспорте не указаны.

Что нужно для запуска

Код написан на Python и распространяется по лицензии MIT. Платформа по описанию автора — CUDA: в документации упомянут tiny-cuda-nn, который используется для hash-grid кодировок в сетях деформации. Это означает, что для работы потребуется графический процессор с поддержкой CUDA. Требования к объёму памяти и конкретным версиям библиотек авторы не указывают.

Исходный код доступен в репозитории github.com/lukasHoel/video_to_world, дополнительная информация — на сайте проекта.

Кому подойдёт

Инструмент будет полезен исследователям и разработчикам, которые экспериментируют с генерацией миров из видео и имеют доступ к оборудованию с CUDA. Открытая лицензия MIT позволяет встраивать код в собственные проекты и дорабатывать его под свои задачи.

Тем, кто ищет готовое приложение с графическим интерфейсом или поддержку процессорного рендеринга без видеокарты, этот проект, скорее всего, не подойдёт: авторы описывают только запуск через код на Python и платформу CUDA.

video_to_world — нишевый инструмент для связки «видеодиффузия — 3D-сцена». Он не позиционируется как универсальный конвертер видео в модели и требует понимания процесса обучения и экспорта контрольных точек.