Spectral Transport Homeostasis 方法无需修正视频时间一致性

一个研究团队在 arXiv 上发表了关于视频生成中时间一致性的诊断与校正的研究。作者引入了 Spectral Tension 这一概念——一个标志性的诊断指标，它将局部注意力分散度与全局频谱多样性进行比较。借助它，作者区分出两种相反的故障：碎片化的状态传递和「热点」中的过度平均化。基于该诊断，作者提出了 Spectral Transport Homeostasis 调节器，它无需微调即可温和地修正病态的时间状态。详情见 arXiv 上的论文。

这意味着什么

这项工作属于应用在已训练好的视频生成器之上的方法，因此应结合我们视频生成器栏目中的模型一起看待。 Bytedance 的 Lance 宣称支持 any-to-any 任务，包括视频生成和编辑。模型最大单个文件为 13.2 GB，全部文件为 28.6 GB，代码和模型权重许可证为 Apache-2.0。作者指出，推理需要至少 40 GB 显存的 GPU 和 CUDA 12.4+。如果 Spectral Transport Homeostasis 方法在 unified 模型上被证实有效，它可能有助于改善这类架构中的时间连贯性，但 Lance 的参数表中没有关于支持外部注意力调节器的信息。 Lightricks 的 LTX-Video 是一款开源的 image-to-video 生成器（Apache-2.0），最大的权重文件为 26.6 GB。作者声称仅需 1 GB 显存，并支持 macOS 上的 MPS。由于论文中的方法无需微调且在注意力层面工作，它原则上可应用于 LTX-Video 这类 diffusion 模型，但该工具的参数表中没有关于与此类调节器兼容性的信息。 Zhipu AI 的 CogVideoX（智谱 CogVideoX） 解决 text-to-video 任务，最大单个文件为 9.2 GB，代码许可证为 Apache-2.0，权重许可证为 The CogVideoX License：注册后可商用，每月最多 100 万次访问。据作者描述，平台为 CUDA，推荐 NVIDIA H100 及以上。与 LTX-Video 的情况一样，论文中的方法可能有助于改善时间一致性，但 CogVideoX 的参数表中没有提及支持外部 training-free 调节器。 作者已将方法代码开源，因此可以研究它并检验其与具体生成器的兼容性。目前我们工具的参数表中还没有关于它们是否支持接入此类调节器的数据，因此对 Lance、LTX-Video 和 CogVideoX 的实际适用性还需单独验证。