CPU3D3D、视频与音频的 AI 工具

LeFlow 通过生成式潜在先验将 world models 中的规划速度提升一个数量级

研究人员介绍了 LeFlow——一种将潜在世界模型中的迭代轨迹优化替换为生成式规划的方法。LeFlow 不再为每一对“状态—目标”从头运行优化器,而是训练一个可复用的潜在轨迹先验:rectified-flow 模型在当前与目标嵌入之间生成未来的潜在路径,inverse dynamics 解码器将潜在转换转化为动作序列,而冻结的 world model 通过自回归 rollout 验证候选方案。在四个 goal-conditioned pixel-control 基准测试中,作者报告成功率稳定提升,规划时间缩短了一个数量级。详情见 arXiv 上的文章

这意味着什么

LeFlow 属于世界模型和潜在空间规划领域,而非 3D 资产生成。在我们 关于 3D 和视频 AI 工具的部分中,没有与此方法直接对应的工具:OpenLRM、Hunyuan3D(混元3D)2.1 和 TRELLIS 解决的是 image-to-3d 任务,不涉及动作规划或智能体控制。 不过,在技术层面存在交集。指南中的三个生成器都使用潜在表示:TRELLIS 使用 structured 3D latents,OpenLRMHunyuan3D(混元3D)2.1 也通过潜在嵌入构建生成过程。LeFlow 的理念——通过训练好的生成式先验来分摊昂贵的迭代过程——在概念上类似于这些工具如何用单步或 few-step 生成替代昂贵的几何优化。但在具体架构和任务层面没有重叠:LeFlow 不生成网格、纹理或 PBR 材质,而是规划动作序列。 短期内,这一方法对指南中的工具没有实际影响。它可能对从事世界模型和机器人技术的人有价值,但对于从图像生成 3D 模型来说,它不会改变任何东西。
LeFlow:生成式潜在先验替代迭代优化 当前 状态 嵌入 s 和目标 g Rectified-flow 生成潜在 路径 s — g Inverse dynamics 潜在过渡 — 动作 World model 验证 rollout 候选筛选 行动计划 序列 给代理的命令 之前:优化 从零开始对每个 s—g 对 现在:先验 可复用, 加速一个数量级 LeFlow:通过生成式潜在先验在 world models 中摊销规划
方法的工作原理。示意图根据这篇简讯绘制。

相关阅读