CPU3DИИ-инструменты для 3D, видео и звука

RIFT предложил одношаговое генеративное сжатие видео с коррекцией по остаткам

arXiv опубликовал 1 ноября 2026 года работу RIFT: Residual-Informed Flow Transfer for One-Step Generative Video Compression. Авторы указывают, что при генеративном сжатии видео возникает направленное рассогласование между деградацией от кодека и траекториями возмущений, которым обучены flow-matching модели. Калибровки только по силе деградации недостаточно: сжатые латентные представления остаются сильно выровненными между режимами работы кодека, а остатки восстановления сильно различаются по величине и направлению. RIFT вводит Residual Geometry Inducer, который превращает предсказание потока в контентно-адаптивное обновление восстановления, используя видимые декодеру признаки кодека. Авторы сообщают, что на трёх публичных бенчмарках сжатия видео RIFT превосходит конкурирующие генеративные методы. Код авторы не выкладывали.

Что это значит

Работа касается сжатия видео, а не генерации, поэтому напрямую с инструментами из раздела AI Video она не пересекается. В нашем справочнике нет карточек кодеков или средств генеративного сжатия видео. Ближайшие по теме инструменты — генераторы видео. Maestro работает как image-text-to-video на пайплайне WanGP, требует от 6 до 24 ГБ видеопамяти, код открыт, но лицензия кода разрешает только некоммерческое использование самой программы. LTX-Video решает задачу image-to-video, по описанию автора требует всего 1 ГБ видеопамяти, код под Apache-2.0, веса открыты с ограничением по выручке от $10 млн. Imagination-Studio-by-keys-Wasserman — студия для Mac и NVIDIA DGX Spark, в паспорте указана задача text-to-speech и видеопамять 8.3 ГБ. Ни один из этих инструментов не занимается сжатием видео, и в их паспортах нет сведений о применении flow-matching для восстановления кадров после кодирования. RIFT — исследовательская работа без опубликованного кода, поэтому оценить её применимость на локальном железе пока нельзя.
RIFT: одношаговое генеративное сжатие видео Residual-Informed Flow Transfer — коррекция по остаткам восстановления Исходное видео кадры без сжатия кодек Кодек сжатие латентов латент Flow-matching траектории возмущений поток Residual Geometry Inducer контентно-адаптивная коррекция Восстановленное после декодера декодер коррекция Остатки различие по величине видимые декодеру признаки Рассогласование деградация vs траектории 3 бенчмарка превосходит аналоги Одношаговое сжатие: кодек — flow-matching — RGI-коррекция — восстановление Код не опубликован, оценка на локальном железе невозможна
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также