La-JEPA: компактная политика робота с латентным world modeling от Meta

Meta представила La-JEPA — компактную world-action модель для управления роботами, которая обучается с нуля в пространстве признаков предобученного энкодера V-JEPA 2.1. В отличие от подходов, адаптирующих генеративные видеомодели или vision-language-action модели, La-JEPA не тянет за собой тяжёлый трансформер, спроектированный для генерации: политика предсказывает будущие признаки совместно с действиями только на этапе обучения, а на инференсе генерирует лишь действия. По данным arXiv, модель показывает лучшие результаты среди политик без embodied-предобучения на RoboTwin 2.0 и LIBERO-Plus, обходя ближайшие JEPA-методы LeapBot-WA и JEPA-WAM, а на четырёх реальных задачах её средний успех сопоставим с pi0.5. Код выложен в открытый доступ.

Что это значит

Для нашего раздела генераторов видео и ИИ-инструментов эта работа — скорее сигнал о направлении, чем прямое обновление. La-JEPA не генератор видео и не text-to-video модель: это политика управления роботом, которая использует латентные признаки из видеоэнкодера V-JEPA 2.1 вместо пиксельного или VAE-латентного пространства. Авторы отдельно показывают, что JEPA-признаки превосходят video VAE latents, особенно вне распределения, — это аргумент в пользу того, что для задач управления не всегда нужен полный генеративный стек. Среди инструментов нашего справочника прямых аналогов нет. Maestro — это локальная студия генерации видео на базе WanGP с моделью MiniMax H3: image-text-to-video, веса до 464 ГБ, видеопамять от 6 ГБ, лицензия кода некоммерческая. Imagination Studio — AI-киностудия для Mac и NVIDIA DGX Spark на TensorFold, задача text-to-speech с моделью Fish Audio Drama 3. LTX-Video — image-to-video генератор от Lightricks с открытыми весами и требованием от 1 ГБ VRAM. Ни один из них не занимается управлением роботами и не использует JEPA-архитектуру. Практического пересечения с нашими карточками пока нет: La-JEPA не добавляет новых возможностей в локальные генераторы видео и не меняет их требования к железу. Но сам подход — обучать компактную политику в пространстве признаков предобученного видеоэнкодера, а не тащить генеративный трансформер — показывает, что для downstream-задач вроде управления можно обходиться заметно меньшими моделями. Если эта логика дойдёт до инструментов генерации, интересно будет посмотреть, появятся ли облегчённые варианты с JEPA-признаками вместо полного видео VAE.