AnimateDiff: генератор видео — что умеет и что нужно для запуска

AnimateDiff — это инструмент с открытым исходным кодом для генерации коротких анимированных роликов из текстовых описаний. Его задача — добавить управляемое движение в статичные картинки, которые создают популярные модели вроде Stable Diffusion, не требуя при этом тонкой настройки (fine-tuning) самой базовой модели.

Что умеет

• Превращает текстовое описание в анимированное видео с помощью модуля движения (motion module).
• Работает поверх персонализированных моделей, обученных сообществом (например, выложенных на CivitAI), сохраняя их стиль и объекты.
• По заявлению разработчиков, способен создавать видео высокого разрешения — вплоть до 1024x1024 пикселей при длине 16 кадров — с разными соотношениями сторон.
• Может генерировать ролики как с использованием персонализированных моделей, так и без них.

Что нужно для запуска

• Платформа: локальный запуск на машине пользователя, код написан на Python.
• Видеопамять: по описанию авторов, для вывода обычно требуется около 13 ГБ VRAM. Точное потребление зависит от выбранной персонализированной модели и настроек (например, количества шагов сэмплирования).
• Лицензия: код распространяется под лицензией Apache-2.0.
• Репозиторий: github.com/guoyww/AnimateDiff (последнее изменение кода — 31 июля 2024 года).
• Дополнительно: для работы потребуется базовая модель генерации изображений (например, Stable Diffusion), которую пользователь загружает отдельно.

Кому подойдёт

Инструмент рассчитан на практиков, которые уже знакомы с экосистемой Stable Diffusion и не боятся работать с командной строкой и Python-скриптами. Он будет полезен тем, кто хочет оживить свои кастомные модели или персонажей без долгого обучения новых нейросетей. Наличие понятного репозитория и сайта с примерами упрощает старт.

Не подойдёт новичкам, которые ищут готовое приложение с графическим интерфейсом «в один клик». Также стоит учитывать, что для комфортной работы нужна видеокарта с объёмом памяти не менее 13 ГБ — это требование отсекает большинство пользовательских ноутбуков и старых настольных GPU. Авторы не предоставляют облачную версию, запустить сервис локально не получится без собственного оборудования.

AnimateDiff решает конкретную задачу — добавляет контролируемую анимацию в мир Stable Diffusion. Он не пытается заменить полноценные видеоредакторы или сложные системы 3D-анимации, а скорее служит мостом между статичной генерацией и короткими зацикленными роликами, которые можно создавать на своём компьютере.