Qwen-Video-Edit превращает модель редактирования изображений в видеоредактор

Alibaba представила Qwen-Video-Edit — подход, при котором instruction-based модель редактирования изображений Qwen-Image-Edit применяется к видео без обучения видеогенеративной основы с нуля. Латентные кадры видеоэнкодера Wan 2.1 раскладываются как плитки одного большого виртуального изображения, а пара лёгких проекций соединяет два латентных пространства. Система дообучается на публичном наборе Ditto-1M, а несколько шагов денойзинга Wan 2.2 служат опциональным временным улучшателем. Подробности — в статье на arXiv.

Что это значит

Новость напрямую касается Wan из нашего справочника: Qwen-Video-Edit использует видео-VAE именно этой модели для кодирования кадров, а Wan 2.2 задействован как опциональный этап временного улучшения. Сам Wan у нас описан как генератор видео с задачей text-to-video, открытым кодом и весами под Apache-2.0. В его паспорте нет упоминания instruction-based редактирования — это отдельная возможность, которую новая работа добавляет поверх существующей архитектуры. Для раздела ИИ-инструментов для видео это пример того, как модель редактирования изображений может быть переиспользована для видеозадач без полного переобучения видеодиффузионной основы. Разработчик подчёркивает, что даже без дообучения стоковый редактор изображений редактирует видео, представленное как контактный лист, а дообучение закрывает оставшийся разрыв в качестве. Пока это исследовательская работа: насколько подход применим к реальным сценариям редактирования видео, покажут независимые тесты.