Allegro: генератор видео — что умеет и что нужно для запуска

Allegro — это генератор видео с открытым кодом от Rhymes AI, решающий задачу text-to-video. Модель превращает текстовое описание в короткий ролик и распространяется свободно: и код, и веса лежат под лицензией Apache-2.0.

Что умеет

По заявлению разработчиков, Allegro создаёт видео длительностью до 6 секунд с частотой 15 кадров в секунду и разрешением 720p. Модель работает на основе библиотеки diffusers и принимает на вход простое текстовое описание. Авторы не указывают поддерживаемые языки промптов, но примеры в репозитории даны на английском.

Что нужно для запуска

Allegro написан на Python. Для работы потребуется PyTorch не ниже версии 2.4 и CUDA от 12.4 — авторы явно упоминают только платформу CUDA. Полный список зависимостей лежит в requirements.txt.

Самый большой файл весов занимает 8.9 ГБ, а полный набор — 41.3 ГБ. По описанию автора, без специальных мер модель требует около 27.5 ГБ видеопамяти. Если включить --enable_cpu_offload, потребление падает примерно до 9.3 ГБ, но время вывода заметно увеличивается. Минимальный порог, который разработчики называют в контексте экономии памяти, — 3 ГБ, однако дословно эта цифра в документации не расшифровывается.

Код доступен в репозитории github.com/rhymes-ai/Allegro, веса — на huggingface.co/rhymes-ai/Allegro. Сайт проекта: rhymes.ai.

Кому подойдёт

Allegro адресован тем, кто ищет открытый генератор видео, который можно запустить на своей машине. Модель подойдёт исследователям и разработчикам, готовым разбираться с настройкой CUDA-окружения и управлением памятью через CPU offload. Тем, у кого видеокарта с объёмом памяти меньше 9—10 ГБ, стоит рассчитывать именно на режим с выгрузкой на CPU и смириться с медленной работой.

Не подойдёт Allegro тем, кому нужна генерация длиннее 6 секунд, частота выше 15 FPS или работа без видеокарты NVIDIA с поддержкой CUDA. Также модель не рассчитана на пользователей, ожидающих готовое приложение с интерфейсом: запуск идёт через Python-скрипты.

Allegro — один из немногих полностью открытых генераторов видео, где и код, и веса доступны под разрешительной лицензией Apache-2.0. Репозиторий создан в октябре 2024 года и обновлялся в начале февраля 2025-го, так что проект находится в активной фазе развития.