dKV Forcing 通过可微分 KV 缓存将视频生成器中的生成与记忆分离

论文 dKV Forcing: Separating Generation and Memory Representations through a Differentiable KV Cache（arXiv，2026 年 11 月 1 日）的作者提出了一种面向 causal 视频生成器的方法，为 KV 缓存学习一种独立的记忆表示。在预训练生成器中，对片段进行去噪时使用的 KV 状态已经明显不同于为后续片段写入缓存的内容。作者在共享 backbone 之上引入了 writer-specific 低秩残差：将写入记忆与生成分离，并通过未来对已写入内容的读取来训练。为此，训练缓存被替换为 persistent differentiable pages，并配合局部重新物化，使得单次前向即可计算出双遍重建需要两次才能算出的梯度。完整记忆梯度的开销仅为生成器更新的 7%，同时常驻内存减少 28%，训练周期比双遍重建缩短 20.8%。与 Self Gradient Forcing（SGF）相比，writer adaptation 在 60 秒时将 VBench-Long aesthetic quality 提升 6.6 分，在 240 秒时提升 8.5 分，并具有最高的主体与背景一致性。作者未公开代码。

这意味着什么

这项工作涉及长视频和帧间一致性——这正是我们视频生成器板块所围绕的主题。指南中目前有三款开源工具，其中没有任何一款提到类似 dKV Forcing 的机制。 Maestro 由 Blizaine 开发，基于 WanGP 流水线构建，使用 MiniMax H3 模型。代码按 WanGP Non-Commercial Evaluation License 1.1 分发——仅限程序本身的非商业使用，不过生成的结果可以出售，但需注明作者。MiniMax H3 的权重按 MiniMax H3 Community License 提供，商业营收门槛为 2000 万美元，但该许可证在欧盟、英国、韩国和美国不适用。据作者描述，显存需求为 6 至 24 GB，最大的权重文件为 9.7 GB。参数表中没有关于可微缓存或写入与生成分离的任何内容。 Imagination-Studio-by-keys-Wasserman 是面向 Mac 和 NVIDIA DGX Spark 的 AI 电影工作室，基于 TensorFold，视频使用 MiniMax H3 和 FastH3。代码采用 Apache-2.0，drama-3 的模型权重采用 Fish Audio Community License，营收门槛为 50 万美元，托管需单独授权。显存需求为 8.3 GB，内存为 128 GB unified memory。参数表中没有处理 KV 缓存的机制。 LTX-Video 由 Lightricks 开发，是 image-to-video 生成器，代码采用 Apache-2.0，权重采用 LTXV Open Weights License，免费商业使用的门槛为 1000 万美元。宣称仅需 1 GB 显存，最大的权重文件为 26.6 GB。说明中没有提及 KV 缓存和长期记忆。 目前 dKV Forcing 仍是没有公开代码的研究工作，因此无法在指南中的工具上验证该方法。如果作者公开实现，就可以将其与 Maestro、Imagination Studio 和 LTX-Video 在长片中保持一致性的方式进行比较。