EchoCache 利用音频信号能量加速声音驱动视频生成

arXiv 报道了 EchoCache 的工作——一种用于 audio-driven video generation（A2V）的缓存方法。作者指出现有方法中存在两类不一致：时间-语义不一致和计算-存储不一致。提出的解决方案利用音频的频时能量作为锚点来更新潜在层级的缓存，并添加了带有量化内存管理的动态缓存机制。在 Wan2.2-S2V 模型上，该方法在保持质量和视听一致性的同时实现了 2.46 倍的加速。代码已发布在 GitHub 上。

这意味着什么

这条新闻涉及一个细分方向——由音轨驱动的视频生成（A2V）。我们指南中关于视频生成器部分的任何工具都没有明确解决这个问题。 LTX-Video（工具页面）是 image-to-video 生成器，不支持音频输入。CogVideoX（工具页面）和 Pyramid Flow（工具页面）按 text-to-video 工作，声音也不参与生成。作者没有描述将 EchoCache 直接应用于这些工具的方法。 该方法作为架构思路很有趣：音频信号的能量将计算资源引导到最需要的地方。如果类似方法出现在通用视频生成器中，它可能在不更换模型的情况下降低内存和推理时间要求。目前，这仍是针对专门 A2V 系统的研究结果。