Wan: генератор видео — что умеет и что нужно для запуска

Wan — это генератор видео по текстовому описанию (text-to-video) от компании Alibaba. Инструмент распространяется с открытым исходным кодом и открытыми весами, что позволяет запускать его на собственном оборудовании. Основная задача — создание видеороликов на основе поданной на вход текстовой инструкции.

Что умеет

Авторы описывают Wan как открытую и продвинутую крупномасштабную модель для генерации видео. В репозитории проект отмечен метками aigc и videogeneration. По заявлению разработчиков, модель способна генерировать пятисекундное видео в разрешении 480P. Прямого сравнения с конкретными проприетарными аналогами в документации не приводится, однако авторы отмечают, что производительность Wan сопоставима с некоторыми закрытыми моделями.

Что нужно для запуска

Код проекта написан на Python и опубликован в репозитории github.com/Wan-Video/Wan2.1 под лицензией Apache-2.0. Веса модели доступны на Hugging Face (huggingface.co/Wan-AI/Wan2.1-T2V-14B) также под лицензией Apache-2.0. Общий объём файлов весов составляет 64.3 ГБ, самый крупный файл занимает 10.6 ГБ. Для работы используется библиотека diffusers.

Требования к видеопамяти зависят от версии модели. По описанию автора, модель T2V-1.3B требует всего 8.19 ГБ VRAM, что делает её совместимой практически с любыми потребительскими GPU. На видеокарте RTX 4090 генерация пятисекундного ролика в разрешении 480P занимает около четырёх минут без применения техник оптимизации вроде квантизации. Для запуска полной версии модели, судя по данным из описания, может потребоваться 19 ГБ видеопамяти.

Кому подойдёт

Wan будет интересен исследователям и разработчикам, которые ищут открытую модель для генерации видео с возможностью локального запуска и доработки. Благодаря лицензии Apache-2.0 как на код, так и на веса, модель можно использовать в коммерческих проектах. Версия T2V-1.3B с низким порогом входа по VRAM подойдёт владельцам массовых видеокарт. В то же время полная версия модели с высокими требованиями к памяти может оказаться недоступной на слабых конфигурациях. Тем, кто ожидает быстрой генерации длинных роликов в высоком разрешении без дополнительной оптимизации, стоит учитывать, что на создание короткого видео в 480P уходит несколько минут даже на мощном ускорителе.

Wan — один из вариантов открытого генератора видео, который можно развернуть локально при наличии подходящего GPU. Выбор между ним и аналогами будет зависеть от доступного объёма видеопамяти и требуемой скорости работы.