WorldCrafter: генератор видео — что умеет и что нужно для запуска

WorldCrafter — это генератор видео с открытым кодом от ARC Lab, Tencent PCG. Он решает задачу image-to-video: превращает статичное изображение в видеоряд. Разработчики описывают проект как «Consistent Video World Model with Implicit 3D-aware Memory» — модель мира для видео с согласованностью кадров и неявной памятью, учитывающей трёхмерность сцены.

Что умеет

Основная задача — генерация видео из изображения. Авторы позиционируют WorldCrafter как модель мира: она не просто анимирует картинку, а стремится поддерживать согласованность сцены между кадрами. Для этого используется неявная память с учётом 3D-информации. Детали архитектуры и конкретные ограничения по длительности или разрешению видео авторы в паспорте не указывают.

Код написан на Python и построен на библиотеке diffusers. Репозиторий помечен тегами video-generation и world-models.

Что нужно для запуска

Для работы требуется NVIDIA GPU с совместимым драйвером. По описанию автора, платформа — CUDA, окружение фиксируется на PyTorch 2.10 и CUDA 12.8. Версия Python — 3.11, запуск предполагается на Linux. Установку можно выполнить через uv или conda с pip.

Самый большой файл весов занимает 9.3 ГБ, полный набор всех файлов весов — 137.1 ГБ. Это стоит учитывать при планировании дискового пространства.

Лицензия кода — License Term of WorldCrafter. Модель разрешено использовать, копировать, изменять и распространять только в академических целях. Любое коммерческое или производственное применение запрещено. При распространении необходимо прилагать уведомление об авторских правах и текст разрешения. Сторонние компоненты сохраняют свои исходные лицензии, их условия также обязательны к соблюдению.

Репозиторий доступен по адресу github.com/TencentARC/WorldCrafter, модель — на huggingface.co/TencentARC/WorldCrafter-Fast, сайт проекта — drexubery.github.io/WorldCrafter.

Кому подойдёт

WorldCrafter ориентирован на исследовательские задачи в области генерации видео и моделей мира. Он будет полезен тем, кто изучает согласованность видеоряда, работу с неявной памятью и 3D-контекстом в генеративных моделях. Наличие открытого кода и опубликованных весов позволяет разобраться в реализации и адаптировать её под собственные эксперименты.

Для коммерческих проектов и производственного использования инструмент не подходит: лицензия это прямо запрещает. Также стоит учесть требования к оборудованию — нужен NVIDIA GPU с поддержкой CUDA 12.8, а полный объём весов превышает сто гигабайт, что может быть избыточно для быстрых экспериментов.

WorldCrafter — это исследовательский инструмент с понятной нишей: академическая работа над видеомоделями мира. Он требует серьёзного GPU и значительного дискового пространства, а его лицензия ограничивает применение академическими рамками.