Cosmos3-Super-Image2Video: генератор видео — что умеет и что нужно для запуска

Cosmos3-Super-Image2Video — это генератор видео от NVIDIA, который превращает статичное изображение в короткий видеоролик. Инструмент относится к семейству Cosmos и решает задачу image-to-video: на вход подаётся картинка, на выходе получается анимированная сцена. Код открыт, веса модели опубликованы отдельно.

Что умеет

Модель выполняет одну основную задачу — генерацию видео из изображения. Авторы описывают Cosmos как открытую платформу мировых моделей, наборов данных и инструментов для создания физического ИИ. В описании упоминаются роботы, автономные транспортные средства и умная инфраструктура, но конкретные сценарии работы самой модели image-to-video разработчики не детализируют.

Последний выпуск носит название Cosmos3. Репозиторий написан преимущественно на Jupyter Notebook, что говорит о том, что работа с моделью ведётся через интерактивные блокноты.

Что нужно для запуска

Для работы требуется платформа CUDA — это указано в описании автора, а не является результатом независимого тестирования. Точную версию CUDA разработчики не называют, но в документации есть отдельный раздел с вопросом о том, какую версию использовать.

Самый большой файл весов занимает 4.6 ГБ, а полный набор всех файлов — 121.6 ГБ. Это стоит учитывать при планировании дискового пространства. Лицензия кода — OpenMDW-1.1: свободное использование, включая коммерческое. Лицензия весов — OpenMDW-1.1: свободная лицензия, коммерческое использование разрешено.

Код доступен в репозитории github.com/nvidia/cosmos, веса — на huggingface.co/nvidia/Cosmos3-Super-Image2Video. Официальный сайт проекта: nvidia.com/en-us/ai/cosmos.

Кому подойдёт

Инструмент рассчитан на разработчиков и исследователей, которые работают с генеративными моделями видео и имеют доступ к оборудованию с поддержкой CUDA. Открытый код позволяет изучать реализацию и адаптировать её под собственные задачи.

Тем, кто ищет готовое приложение с графическим интерфейсом, этот вариант вряд ли подойдёт: работа ведётся через блокноты и код. Также стоит заранее оценить объём загружаемых весов.

Cosmos3-Super-Image2Video — это исследовательский инструмент с открытым кодом, ориентированный на специалистов, которым нужна генерация видео из изображений и которые готовы работать с лицензией OpenMDW-1.1.