Robust-WAM учит генеративные видеомодели предсказывать действия роботов в обход визуальных

Исследователи из MIT и Toyota Research Institute представили Robust-WAM — метод пост-обучения для World-Action Models, построенных на генеративных видеомоделях. Работа опубликована на arXiv 6 августа 2026 года. Авторы решают проблему: стандартные WAM работают в VAE-латентном пространстве, оптимизированном под восстановление пикселей, и теряют надёжность при смене освещения или других визуальных сдвигах. Robust-WAM добавляет к VAE-пути лёгкий механизм семантического предвидения — обучаемые токены запросов, которые выравнивают скрытые состояния с семантикой будущих кадров, не трогая предобученную генеративную основу. Метод проверен на симуляционных бенчмарках и реальном роботе.

Что это значит

Новость напрямую не затрагивает ни один инструмент из справочника AI-видео CPU3D. Robust-WAM — это метод для робототехнических World-Action Models, а не для генерации видео по текстовым или графическим запросам. Тем не менее, работа опирается на архитектуру генеративных видеомоделей, родственную тем, что лежат в основе наших инструментов. В LTX-Video, CogVideoX и Pyramid Flow также используется VAE-латентное пространство, и все они — генеративные видеомодели, предобученные на больших данных. Предложенный авторами принцип — добавлять семантическое выравнивание поверх замороженной VAE-основы — потенциально применим и к задаче повышения устойчивости видео-генераторов к визуальным искажениям, но в статье такая задача не ставилась и не тестировалась. Разработчик не уточняет, планируется ли адаптировать Robust-WAM для потребительских генераторов видео. Пока это исследовательский метод в смежной области.