Streaming talking head: авторы разделили аудио и рендер, чтобы ускорить генерацию

На arXiv вышла работа Decoupled Self-Forcing Distillation for Streaming Talking Head Generation. Авторы предлагают для потоковой генерации говорящей головы не связывать аудио напрямую с каждым пикселем видео, а вести слияние условий в низкоразмерном пространстве движения, отделённом от идентичности и фона. Движение генерирует небольшой causal autoregressive transformer, а pretrained diffusion renderer превращает его в видео. Код авторы не выкладывали. Подробнее — на странице работы.

Что это значит

Работа касается узкой задачи streaming talking head — генерации говорящей головы кадр за кадром по мере поступления аудио. В нашем разделе генераторов видео нет инструментов, заточенных именно под эту задачу. Ближе всего по теме — Lance от Bytedance: это any-to-any модель на 3B активных параметров, которая умеет и понимать, и генерировать видео. Веса открыты под Apache-2.0, самый большой файл — 13,2 ГБ, все файлы — 28,6 ГБ. Авторы требуют GPU минимум с 40 ГБ видеопамяти и CUDA 12.4+. Но Lance — универсальная модель, а не специализированный streaming talking head, и сравнивать подходы напрямую по паспорту нельзя. LTX-Video от Lightricks — image-to-video генератор, который авторы описывают как требующий всего 1 ГБ видеопамяти, с поддержкой MPS на macOS. Он тоже не решает задачу потоковой говорящей головы, но показывает, что в открытых генераторах видео есть движение в сторону низких требований к железу — то, к чему стремится и новая работа, только другим путём. CogVideoX от Zhipu AI — text-to-video модель, веса занимают 20 ГБ, самый большой файл — 9,2 ГБ. Для запуска авторы рекомендуют NVIDIA H100 и CUDA 12.4. Это пример другого полюса: тяжёлая модель, где качество достигается масштабом, а не архитектурным разделением условий. Новая работа описывает способ снизить требования к модели без потери качества за счёт переноса слияния условий в пространство движения. Кода нет, поэтому проверить заявления на своём железе пока нельзя.