object-permanence: генератор видео — что умеет и что нужно для запуска

object-permanence — это открытый генератор видео, который решает задачу video-to-video. Авторы описывают его как кодовую базу для обучения постоянству объектов в моделях мира. Проект создан разработчиком Hokin Deng и нацелен на работу с видео и сценами, где объекты должны сохраняться между кадрами.

Что умеет

По описанию авторов, проект предназначен для обучения постоянству объектов в моделях мира. Это значит, что генератор работает с видео на входе и видео на выходе, сохраняя согласованность объектов между кадрами. В репозитории указаны метки, которые дают представление о направленности проекта: blender, object-permanence, trainium, video-generation и world-model. Авторы не приводят детального списка поддерживаемых сценариев или ограничений по типам входного видео.

Что нужно для запуска

Код написан на Python и использует библиотеку cosmos. Репозиторий открыт, исходный код доступен на github.com/hokindeng/object-permanence, модель опубликована на huggingface.co/Hokin/PWM-WROP, а сайт проекта — object-permanence.world.

Для работы потребуется место под файлы весов: самый большой файл занимает 4,7 ГБ, а все файлы весов вместе — 28,2 ГБ. Авторы не указывают требования к оперативной памяти, видеокарте или конкретной операционной системе.

Лицензия кода — CC BY-NC 4.0 с дополнительным соглашением OpenMDW-1.1. Репозиторий, включая код и модель PWM-WROP, можно использовать, изменять и распространять только в некоммерческих целях, с указанием авторства и сохранением лицензии. Части, основанные на NVIDIA Cosmos, включая базовую модель и адаптированный код, распространяются по OpenMDW-1.1 без ограничений, включая коммерческое использование, при условии сохранения текста соглашения и копирайтов. Веса модели лицензированы под CC BY-NC 4.0.

Кому подойдёт

Проект будет полезен тем, кто занимается исследованиями в области генерации видео и моделей мира, особенно если задача связана с сохранением объектов между кадрами. Открытый код и опубликованные веса позволяют изучать реализацию и адаптировать её под свои эксперименты.

Проект не подойдёт тем, кто ищет готовый коммерческий инструмент для продакшена: основная часть кода и модель PWM-WROP ограничены некоммерческим использованием. Также стоит учитывать, что авторы не приводят требований к оборудованию, поэтому перед запуском придётся самостоятельно оценить, хватит ли ресурсов для работы с моделью.

object-permanence — это исследовательская кодовая база с открытым исходным кодом, сосредоточенная на задаче постоянства объектов в видео. Проект даёт доступ к коду и весам, но основная его часть предназначена для некоммерческого использования, а требования к запуску авторы не детализируют.