dKV Forcing разделяет генерацию и память в видеогенераторах через дифференцируемый KV-кэш

Авторы работы dKV Forcing: Separating Generation and Memory Representations through a Differentiable KV Cache (arXiv, 1 ноября 2026) предлагают метод для causal-видеогенераторов, который учит отдельное представление памяти для KV-кэша. В предобученном генераторе KV-состояние, используемое при денойзинге сегмента, уже заметно отличается от того, что записывается в кэш для будущих сегментов. Авторы вводят writer-specific low-rank residual поверх общего backbone: запись в память отделяется от генерации и обучается через будущие чтения того, что записано. Для этого обучающий кэш заменяется на persistent differentiable pages с локальной рематериализацией, что позволяет за один проход вычислить градиент, который двухпроходная реконструкция считает за два. Полный градиент памяти обходится в 7% накладных расходов к обновлению генератора, при этом резидентная память на 28% меньше, а циклы обучения на 20.8% короче, чем у двухпроходной реконструкции. По сравнению с Self Gradient Forcing (SGF) writer adaptation поднимает VBench-Long aesthetic quality на 6.6 пункта на 60 секундах и на 8.5 пункта на 240 секундах с наивысшей согласованностью субъекта и фона. Код авторы не выкладывали.

Что это значит

Работа касается длинных видео и согласованности кадров — темы, вокруг которой строится наш раздел генераторов видео. В справочнике сейчас три инструмента с открытым кодом, и ни один из них не упоминает механизм, похожий на dKV Forcing. Maestro от Blizaine построен на пайплайне WanGP и использует модель MiniMax H3. Код распространяется по WanGP Non-Commercial Evaluation License 1.1 — только некоммерческое использование самой программы, хотя сгенерированные результаты продавать можно с указанием авторства. Веса MiniMax H3 доступны по MiniMax H3 Community License с порогом коммерческой выручки 20 млн долларов, но лицензия не действует в ЕС, Великобритании, Корее и США. Видеопамяти по описанию автора нужно от 6 до 24 ГБ, самый большой файл весов — 9.7 ГБ. Про дифференцируемый кэш или разделение записи и генерации в паспорте ничего нет. Imagination-Studio-by-keys-Wasserman — AI-киностудия для Mac и NVIDIA DGX Spark на TensorFold, использует MiniMax H3 и FastH3 для видео. Код под Apache-2.0, веса модели drama-3 — под Fish Audio Community License с порогом 500 тысяч долларов выручки и отдельным лицензированием хостинга. Видеопамяти нужно 8.3 ГБ, оперативной — 128 ГБ unified memory. Механизмов работы с KV-кэшем в паспорте нет. LTX-Video от Lightricks — image-to-video генератор, код под Apache-2.0, веса под LTXV Open Weights License с порогом 10 млн долларов для бесплатного коммерческого использования. Заявлено всего 1 ГБ видеопамяти, самый большой файл весов — 26.6 ГБ. Про KV-кэш и долгосрочную память в описании ничего не сказано. Пока dKV Forcing остаётся исследовательской работой без опубликованного кода, поэтому проверить метод на инструментах из справочника нельзя. Если авторы выложат реализацию, её можно будет сопоставить с тем, как Maestro, Imagination Studio и LTX-Video удерживают согласованность на длинных роликах.