Pyramid Flow: генератор видео — что умеет и что нужно для запуска

Pyramid Flow — это генератор видео с открытым кодом, решающий задачу text-to-video. Модель использует пирамидальный подход к согласованию потоков (flow matching) и, по заявлению разработчиков, позволяет получать видео на видеокартах с небольшим объёмом памяти.

Что умеет

• Генерировать видео по текстовому описанию (text-to-video).
• Работать в режиме Multi-GPU — использовать несколько видеокарт для ускорения.
• Выгружать вычисления на центральный процессор (CPU offloading), чтобы уложиться в доступную видеопамять.

Авторы описывают модель как «Pyramidal Flow Matching for Efficient Video Generative Modeling» и отмечают, что она была представлена на ICLR 2025.

Что нужно для запуска

• Платформа: разработчики упоминают бэкенд MPS; код написан на Python, рекомендуемая версия — 3.8.10.
• Память: по описанию автора, для работы требуется менее 8 ГБ видеопамяти GPU. При использовании нескольких GPU и CPU offloading это значение может быть ещё ниже.
• Фреймворк: модель интегрирована с библиотекой diffusers, веса доступны на Hugging Face. Самый большой файл весов занимает 7.8 ГБ, общий объём всех файлов — 27.2 ГБ.
• Лицензия: код распространяется по лицензии MIT, веса модели — под другой лицензией (other).
• Локальный запуск: возможен, исходный код открыт в репозитории github.com/jy0205/Pyramid-Flow. Последнее изменение кода датировано 21 декабря 2024 года.

Кому подойдёт

Инструмент будет полезен исследователям и разработчикам, которые хотят разобраться в устройстве современных видеогенеративных моделей или адаптировать их под свои задачи — благо код открыт и написан на Python с использованием diffusers. Возможность запуска на картах с 8 ГБ видеопамяти и поддержка Multi-GPU делают модель доступной для тех, у кого нет серверных ускорителей с большим объёмом памяти.

Не подойдёт тем, кто ищет готовое облачное решение «загрузил текст — получил видео» без погружения в настройку окружения и работу с командной строкой. Также стоит учесть, что веса модели имеют отдельную лицензию, отличную от MIT, — это может иметь значение при коммерческом использовании.

Pyramid Flow — один из примеров того, как исследовательские модели постепенно снижают порог входа в генерацию видео. Подробнее о проекте можно узнать на сайте pyramid-flow.github.io, а веса модели скачать с huggingface.co/rain1011/pyramid-flow-sd3.