FramePack: генератор видео — что умеет и что нужно для запуска

FramePack — это открытый генератор видео, построенный на диффузионных моделях. Его ключевая особенность, по заявлению разработчика, — способность создавать длинные ролики на оборудовании с относительно небольшим объёмом видеопамяти. Инструмент предназначен для превращения текстовых описаний или изображений в видеоряд.

Что умеет

Авторы позиционируют проект как попытку сделать видео-диффузию практичной. Конкретный список поддерживаемых режимов генерации (text-to-video, image-to-video) и максимальное разрешение кадра в паспорте не раскрываются. Главная заявленная возможность — генерация продолжительного видео. Разработчик утверждает, что для создания одноминутного ролика (60 секунд) с частотой 30 кадров в секунду (1800 кадров) с использованием модели на 13 миллиардов параметров требуется минимум 6 ГБ памяти GPU. Отдельно подчёркивается совместимость с видеокартами ноутбуков.

Что нужно для запуска

Для работы необходим графический процессор с поддержкой CUDA. Автор рекомендует использовать независимое окружение Python 3.10 и предоставляет готовый установочный пакет, ориентированный на связку CUDA 12.6 и PyTorch 2.6. Минимальное требование к видеопамяти, по описанию разработчика, составляет 6 ГБ. Код проекта написан на Python и распространяется под лицензией Apache 2.0. Исходные тексты доступны в репозитории на GitHub по адресу github.com/lllyasviel/FramePack. Последний выпуск помечен тегом windows, что указывает на наличие сборки для этой операционной системы.

Кому подойдёт

FramePack будет интересен тем, кто экспериментирует с генерацией длинных видео, но ограничен объёмом памяти своей видеокарты. Заявление о работе 13B-модели на 6 ГБ памяти делает его привлекательным для владельцев ноутбуков и не самых мощных настольных GPU. Проект не подойдёт пользователям без видеокарт NVIDIA, поскольку поддержка иных платформ, кроме CUDA, авторами не указана. Также он может не подойти тем, кто ищет готовое коммерческое решение с графическим интерфейсом и техподдержкой — судя по всему, взаимодействие происходит через код.

FramePack — это попытка снизить аппаратный порог входа для задач видео-диффузии. Останется ли генерация стабильной на заявленных 6 ГБ в сценариях, отличных от описанного автором, покажут независимые тесты.