Метод Spectral Transport Homeostasis корректирует временную согласованность видео без

Группа исследователей опубликовала на arXiv работу о диагностике и коррекции временной согласованности в генерации видео. Авторы вводят понятие Spectral Tension — знаковый диагностический показатель, который сравнивает локальную рассеянность внимания с глобальным спектральным разнообразием. С его помощью они выделяют два противоположных сбоя: фрагментированный перенос состояния и переусреднение в «горячих точках». На основе диагностики предложен регулятор Spectral Transport Homeostasis, который без дообучения мягко исправляет патологические временные состояния. Подробности — в статье на arXiv.

Что это значит

Работа относится к методам, которые применяются поверх уже обученных генераторов видео, поэтому её стоит рассматривать в связке с моделями из нашего раздела генераторов видео. У Lance от Bytedance заявлена задача any-to-any, включая генерацию и редактирование видео. Модель весит 13.2 ГБ самым большим файлом, все файлы — 28.6 ГБ, лицензии кода и весов — Apache-2.0. Автор указывает, что для инференса нужен GPU минимум с 40 ГБ видеопамяти и CUDA 12.4+. Если метод Spectral Transport Homeostasis подтвердит эффективность на unified-моделях, он может быть полезен для улучшения временной связности в таком классе архитектур, но в паспорте Lance нет сведений о поддержке внешних регуляторов внимания. LTX-Video от Lightricks — image-to-video генератор с открытым кодом (Apache-2.0), самый большой файл весов — 26.6 ГБ. Авторы заявляют потребность всего в 1 ГБ видеопамяти и поддержку MPS на macOS. Поскольку метод из статьи не требует дообучения и работает на уровне внимания, он потенциально применим к diffusion-моделям вроде LTX-Video, однако в паспорте инструмента нет информации о совместимости с такими регуляторами. CogVideoX от Zhipu AI решает задачу text-to-video, весит 9.2 ГБ самым большим файлом, лицензия кода — Apache-2.0, весов — other. Платформа по описанию автора — CUDA, рекомендуется NVIDIA H100 и выше. Как и в случае с LTX-Video, метод из статьи может быть интересен для улучшения временной согласованности, но в паспорте CogVideoX нет упоминаний о поддержке внешних training-free регуляторов. Авторы выложили код метода в открытый доступ, так что его можно изучить и проверить на совместимость с конкретными генераторами. Пока в паспортах наших инструментов нет данных о том, поддерживают ли они подключение подобных регуляторов, поэтому практическую применимость к Lance, LTX-Video и CogVideoX предстоит проверять отдельно.