Исследователи из Пекинского университета представили Token Radius Attention (TRA) — метод, который сокращает объём вычислений в Video Diffusion Transformers, не требуя переобучения модели.
Работа опубликована на arXiv 3 августа 2026 года. Авторы заметили, что разные токены нуждаются в разном объёме внимания, и предложили вычислять для каждого токена индивидуальный бюджет взаимодействий на основе энтропии. Метод проверен на семи конфигурациях Wan2.1, Wan2.2 и HunyuanVideo, где он сохраняет от 9 до 19 процентов взаимодействий внимания и даёт ускорение в 1,56—2,05 раза при сопоставимом качестве.
Что это значит
Метод напрямую касается
HunyuanVideo — одной из трёх протестированных моделей. Сейчас HunyuanVideo требует минимум 60 ГБ видеопамяти для разрешения 720x1280 и 129 кадров, работает только на CUDA и использует полное 3D-внимание. TRA обещает снизить вычислительную нагрузку без изменения весов, что потенциально уменьшит требования к памяти и времени генерации. Однако в паспорте инструмента нет данных о том, насколько именно снизится потребление видеопамяти при использовании TRA — разработчики метода не уточняют эти цифры для конкретных конфигураций.
Код метода выложен в открытый репозиторий, что позволяет интегрировать его в существующие пайплайны HunyuanVideo. Поскольку TRA не требует дообучения, владельцы GPU с объёмом памяти ниже заявленных 60 ГБ могут проверить, станет ли генерация доступной на их оборудовании. Раздел
справочника по AI-видео будет обновлён, когда появятся подтверждённые данные о снижении требований к памяти для конкретных моделей.
