PhysStream представил потоковую генерацию видео с физическим управлением движением

Группа исследователей опубликовала на arXiv работу PhysStream — авторегрессионную модель для генерации видео из изображения, которая позволяет управлять движением объектов прямо во время генерации. Вместо полного плана движения до старта или попиксельных сигналов модель использует разреженные сигналы приращения скорости, кодирующие физические величины, и структурную память сцены из позиционных карт и карт отслеживания объектов. Подробности — на странице работы на arXiv. Кода авторы не выкладывали.

Что это значит

PhysStream — исследовательская работа, и в нашем справочнике пока нет инструмента с таким подходом. Ближайшие по теме генераторы видео из раздела AI Video работают иначе. Maestro — локальная студия на базе пайплайна WanGP, задача image-text-to-video. Веса MiniMax H3 занимают 464.1 ГБ, самый большой файл — 9.7 ГБ, видеопамяти нужно 12—24 ГБ. Код открыт, но лицензия WanGP разрешает только некоммерческое использование самой программы; веса MiniMax H3 доступны для коммерции до 20 млн долларов выручки, но лицензия не действует в ЕС, Великобритании, Корее и США. Интерактивного управления движением в середине генерации в паспорте нет. LTX-Video от Lightricks решает задачу image-to-video, весит 236.4 ГБ, самый большой файл — 26.6 ГБ, заявлено всего 1 ГБ видеопамяти. Код под Apache-2.0, веса — LTXV Open Weights License с порогом коммерческого использования от $10 млн годовой выручки. Управление физикой движения в паспорте не упомянуто. CogVideoX — text-to-video модель от Zhipu AI, веса 20 ГБ, самый большой файл — 9.2 ГБ, работает на CUDA. Код под Apache-2.0, веса — The CogVideoX License: коммерция после регистрации, бесплатно до 1 млн посещений в месяц. Физически обоснованного контроля движения в описании нет. PhysStream заявлен как шаг от текстовых подсказок к управлению физической динамикой сцены, но без опубликованного кода и весов проверить его на своём железе нельзя. Для локальной генерации видео с контролем движения пока остаются инструменты из нашего раздела AI Video, у которых такого режима в паспортах нет.