UniAVC: генератор видео — что умеет и что нужно для запуска

UniAVC — открытый генератор видео от исследовательской группы HKUST LONG Group. Он решает задачу text-to-video и, судя по меткам репозитория, также затрагивает смежные сценарии: audio-to-video, video-to-audio, совместную генерацию и редактирование аудио и видео, а также редактирование видео в рамках единой модели.

Что умеет

Авторы описывают проект как единую модель для создания и редактирования аудио и видео. В репозитории указаны метки: audio-to-video, joint-audio-video-editing, joint-audio-video-generation, unified-model, video-editing, video-generation и video-to-audio. Это говорит о том, что модель рассчитана не только на генерацию видео по тексту, но и на работу со звуковой дорожкой — как на её создание, так и на совместное редактирование с видеорядом.

Детального разбора архитектуры или примеров вывода в паспорте нет, поэтому судить о качестве результата можно только по заявленной задаче и направленности проекта.

Что нужно для запуска

Код написан на Python. Авторы тестировали окружение на Python 3.10, CUDA 12.8 и PyTorch 2.8. Платформа по описанию автора — CUDA, то есть для работы потребуется графический процессор NVIDIA.

Самый большой файл весов занимает 43 ГБ, и это же значение указано как общий объём всех файлов весов. По описанию автора, модели требуется существенно больше видеопамяти, чем даёт один графический процессор на 80 ГБ — дословно: «speed and needs substantially more VRAM than a single 80 GB GPU provides at the». Это заявление разработчика, а не независимое измерение.

Код распространяется под лицензией CC BY-NC 4.0. Её условия разрешают воспроизводить, распространять и перерабатывать код только в некоммерческих целях. При распространении необходимо сохранить сведения об авторе, уведомление о лицензии и указать внесённые изменения. Вводить дополнительные ограничения для получателей запрещено.

Веса модели распространяются под лицензией LTX-2 Community License. Модель можно свободно использовать, изменять и распространять в любых целях, если годовая выручка компании не достигает определённого порога. При его превышении требуется платная коммерческая лицензия. Запрещены военные применения, обучение конкурирующих моделей, создание конкурирующих продуктов и ряд других ограничений из Attachment A. Производные работы должны распространяться под этой же лицензией.

Кому подойдёт

Проект будет интересен исследователям и разработчикам, которые работают с генеративными моделями видео и звука и имеют доступ к мощному оборудованию с CUDA. Открытый код позволяет изучать реализацию и адаптировать её под некоммерческие задачи.

Для коммерческих проектов модель подходит с оговорками: лицензия кода запрещает коммерческое использование, а лицензия весов накладывает ограничения на компании с выручкой выше установленного порога. Для рядового пользователя без специализированного графического процессора с большим объёмом видеопамяти запуск будет затруднителен.

UniAVC — это исследовательский инструмент с открытым кодом, ориентированный на единую работу с видео и звуком. Его практическое применение упирается в высокие требования к видеопамяти и в раздельные лицензии на код и веса, которые стоит учитывать при планировании проекта.