EchoCache ускоряет генерацию видео по звуку за счёт энергии аудиосигнала

arXiv сообщает о работе EchoCache — методе кэширования для audio-driven video generation (A2V). Авторы выявили два типа рассогласования в существующих подходах: временно-семантическое и вычислительно-хранилищное. Предложенное решение использует частотно-временную энергию аудио как якорь для обновления кэша на уровне латентов и добавляет динамический механизм кэширования с квантованным управлением памятью. На модели Wan2.2-S2V метод даёт ускорение в 2,46 раза при сохранении качества и аудиовизуальной согласованности. Код выложен на GitHub.

Что это значит

Новость касается узкого направления — генерации видео, управляемой аудиодорожкой (A2V). Ни один из инструментов нашего справочника по разделу генераторов видео не решает эту задачу в явном виде. LTX-Video (карточка) — image-to-video генератор, аудиовход не предусмотрен. CogVideoX (карточка) и Pyramid Flow (карточка) работают по text-to-video, звук также не участвует в генерации. Прямого применения EchoCache к этим инструментам авторы не описывают. Метод интересен как архитектурная идея: энергия аудиосигнала направляет вычислительные ресурсы туда, где они нужнее. Если подобный подход появится в универсальных видеогенераторах, он может снизить требования к памяти и времени инференса без смены модели. Пока же это исследовательский результат для специализированных A2V-систем.