Spectral Transport Homeostasis 方法无需训练即可校正视频时间一致性

一群研究人员在 arXiv 上发布了一篇关于视频生成中时间一致性诊断与修正的论文。作者提出了 Spectral Tension 这一概念——一个符号化的诊断指标，用于比较局部注意力分散度与全局频谱多样性。借助该指标，他们区分出两种相反的故障：碎片化的状态迁移和“热点”区域的过度平均化。基于这一诊断，他们提出了 Spectral Transport Homeostasis 调节器，无需微调即可温和地修正病理性的时间状态。详情见 arXiv 上的论文。

这意味着什么

这项工作属于应用于已训练好的视频生成器之上的方法，因此应结合我们视频生成器板块中的模型来考量。 Bytedance 的 Lance 宣称支持 any-to-any 任务，包括视频生成与编辑。模型最大的文件为 13.2 GB，所有文件合计 28.6 GB，代码与权重许可证均为 Apache-2.0。作者指出，推理至少需要 40 GB 显存的 GPU 以及 CUDA 12.4+。如果 Spectral Transport Homeostasis 方法在 unified 模型上验证有效，它可能有助于改善此类架构中的时间连贯性，但 Lance 的参数表中没有关于支持外部注意力调节器的信息。 Lightricks 的 LTX-Video 是一款开源的 image-to-video 生成器（Apache-2.0），最大的权重文件为 26.6 GB。作者声称仅需 1 GB 显存，并支持 macOS 上的 MPS。由于论文中的方法无需微调且在注意力层面工作，它可能适用于 LTX-Video 这类扩散模型，但工具参数表中没有关于与此类调节器兼容性的信息。 Zhipu AI 的 CogVideoX（智谱 CogVideoX） 解决 text-to-video 任务，最大的文件为 9.2 GB，代码许可证为 Apache-2.0，权重许可证为 other。据作者描述，平台为 CUDA，推荐 NVIDIA H100 及以上。与 LTX-Video 的情况类似，论文中的方法可能对改善时间一致性有价值，但 CogVideoX 的参数表中没有提及对外部 training-free 调节器的支持。 作者已将方法的代码开源，因此可以研究并测试其与具体生成器的兼容性。目前我们工具的参数表中没有关于它们是否支持连接此类调节器的数据，因此对 Lance、LTX-Video 和 CogVideoX 的实际适用性需要单独验证。