CPU3D3D、视频与音频的 AI 工具

Loopy 将 DiT 时间轴变为圆环,实现无缝循环视频

Loopy 的作者在 arXiv 上发表了一篇关于生成无缝循环视频的论文。他们指出,DiT 中的位置嵌入层以不同方式控制时间顺序,并提出为每一层使用不同长度的位置偏移——这样模型的时间感知就从一条直线变成了一个圆。该方法支持 RGB 和 RGBA,还支持身份控制和风格迁移。作者没有公开代码,模型可在项目官网上获取。

这意味着什么

这条消息涉及基于 DiT 架构的视频生成器——在我们的指南中,这类工具有 LTX-VideoCogVideoX(智谱 CogVideoX)Pyramid Flow(快手 Pyramid Flow)。这三者都使用扩散模型和类 DiT 架构,因此位置嵌入偏移的思路理论上可以应用于它们。 不过,Loopy 是一个独立的框架,而不是对现有工具的更新。在 LTX-Video、CogVideoX 和 Pyramid Flow 的参数表中,既没有对循环视频的支持,也没有 RGBA 输出,更没有身份控制。三者都没有声明“生成无缝循环”这一功能。在没有代码、也没有集成到 diffusers 的情况下,目前无法在这些模型上验证该方法。 只有当作者公开代码,或者有人把这一思路移植到开源生成器中,指南用户才能真正受益。目前这只是一个值得关注的研究成果,而不是可用的工具。
Loopy:DiT 时间轴变为圆环 输入 视频或提示词 RGB / RGBA DiT 模型 LTX-Video, CogVideoX, Pyramid Flow 位置嵌入 位置偏移 每层长度不同 无缝循环 循环视频 Loopy 功能 RG RGB 与 RGBA 输出 Identity control 风格迁移 状态 </> 代码未开源 M 模型在项目官网 未集成到 diffusers 研究成果——值得关注,但非实用工具
方法原理示意图。该图根据这篇简讯绘制。

相关阅读