CPU3DИИ-инструменты для 3D, видео и звука

LeFlow ускоряет планирование в world models на порядок за счёт генеративного латентного приора

Исследователи представили LeFlow — метод, который заменяет итеративную оптимизацию траекторий в latent world models на генеративное планирование. Вместо того чтобы для каждой пары «состояние—цель» запускать оптимизатор с нуля, LeFlow обучает переиспользуемый латентный приор траекторий: rectified-flow модель генерирует будущий латентный путь между текущим и целевым эмбеддингами, inverse dynamics декодер превращает латентные переходы в последовательности действий, а замороженная world model проверяет кандидатов через autoregressive rollout. На четырёх бенчмарках goal-conditioned pixel-control авторы сообщают о стабильном росте success rate и сокращении времени планирования на порядок. Подробности — в статье на arXiv.

Что это значит

LeFlow относится к области world models и планирования в латентном пространстве, а не к генерации 3D-ассетов. В нашем разделе об ИИ-инструментах для 3D и видео прямых аналогов этому методу нет: OpenLRM, Hunyuan3D 2.1 и TRELLIS решают задачу image-to-3d и не занимаются планированием действий или управлением агентами. Тем не менее пересечение по технике есть. Все три генератора из справочника используют латентные представления: TRELLIS работает со structured 3D latents, OpenLRM и Hunyuan3D 2.1 также строят генерацию через латентные эмбеддинги. Идея LeFlow — амортизировать дорогой итеративный процесс через обученный генеративный приор — концептуально близка тому, как эти инструменты заменяют дорогую оптимизацию геометрии одношаговой или few-step генерацией. Но на уровне конкретных архитектур и задач совпадений нет: LeFlow не генерирует меши, текстуры или PBR-материалы, а планирует последовательности действий. Практического влияния на инструменты справочника в ближайшей перспективе не просматривается. Метод может быть интересен тем, кто работает с world models и робототехникой, но для генерации 3D-моделей из изображений он ничего не меняет.
LeFlow: генеративный латентный приор вместо итеративной оптимизации Текущее состояние эмбеддинг s и цель g Rectified-flow генерирует латентный путь s — g Inverse dynamics латентные переходы — действия World model проверка rollout отбор кандидатов План действий последовательность команд агенту Было: оптимизация с нуля для каждой пары s—g Стало: приор переиспользуемый, ускорение на порядок LeFlow: амортизация планирования через генеративный латентный приор в world models
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также