Loopy превращает временную ось DiT в круг для бесшовных зацикленных видео

Авторы Loopy опубликовали на arXiv работу о генерации бесшовных зацикленных видео. Они показывают, что слои позиционного эмбеддинга в DiT по-разному управляют временным порядком, и предлагают сдвигать позиции с разной длиной для каждого слоя — так временное восприятие модели превращается из прямой линии в круг. Метод поддерживает RGB и RGBA, а также identity control и перенос стиля. Код авторы не выкладывали, модель доступна на сайте проекта.

Что это значит

Новость касается генераторов видео на архитектуре DiT — в нашем справочнике это LTX-Video, CogVideoX и Pyramid Flow. Все три используют diffusion-модели с DiT-подобной архитектурой, поэтому идея сдвига позиционного эмбеддинга потенциально применима к ним. Однако Loopy — это отдельный фреймворк, а не обновление существующих инструментов. В паспортах LTX-Video, CogVideoX и Pyramid Flow нет ни поддержки зацикленных видео, ни RGBA-вывода, ни identity control. Задача «сгенерировать бесшовный loop» ни у одного из них не заявлена. Без кода и без интеграции в diffusers проверить метод на этих моделях сейчас нельзя. Практическая польза для пользователей справочника появится, только если авторы выложат код или кто-то перенесёт подход в открытые генераторы. Пока это исследовательский результат, который стоит отслеживать, но не инструмент для работы.