ManifoldSplat редактирует форму 3D-головы текстом за 90 секунд

Исследователи представили ManifoldSplat — метод языкового редактирования формы анимируемых 3D-голов, восстановленных из монокулярного видео. Вместо прямой оптимизации облака гауссиан правки выполняются внутри структурированного манифолда FLAME, что сохраняет идентичность и анимацию. Авторы заявляют реконструкцию и редактирование аватара примерно за 90 секунд на потребительском GPU и рендеринг около 800 FPS. Код на момент публикации не выложен.

Что это значит

ManifoldSplat решает задачу, которой нет в нашем разделе об ИИ для 3D: это не генерация модели по изображению, а семантическое редактирование уже существующего аватара через текстовые команды. Ближайшие по теме инструменты — Hunyuan3D 2.1, Stable Fast 3D и OpenLRM — работают как image-to-3d генераторы: они создают статичную модель с нуля, но не умеют менять её форму по текстовому описанию и не привязаны к анимационному ригу. По паспортам наших инструментов: Hunyuan3D 2.1 требует от 10 до 29 ГБ видеопамяти в зависимости от этапа, Stable Fast 3D — около 6 ГБ, OpenLRM не указывает точных требований, но упоминает CUDA OOM. ManifoldSplat авторы позиционируют как работающий на потребительском GPU, но конкретный объём видеопамяти не уточняют. Лицензию и веса авторы также не указали, а код пока недоступен. Пока нет ни репозитория, ни весов, проверить заявленные 90 секунд и 800 FPS на своём железе нельзя. Если код появится, это будет первый в нашем поле инструмент для текстового редактирования формы анимируемых голов, а не для генерации статичных моделей.