YuE: генератор звука — что умеет и что нужно для запуска

YuE — это открытый генератор звука от команды M-A-P, который авторы описывают как модель для создания полноценных песен. По заявлению разработчиков, проект задуман как открытый аналог систем вроде Suno.ai. Код опубликован на GitHub, веса модели выложены на Hugging Face, так что инструмент можно изучить и запустить самостоятельно.

Что умеет

Основная задача модели — text-generation, то есть генерация по текстовому описанию или запросу. В описании репозитория указано, что YuE позиционируется как базовая модель для генерации музыки, включая полноценные песни. Среди меток проекта значатся audio-generation, music-generation, voice-cloning и style-transfers — это указывает на работу со звуком, перенос стиля и клонирование голоса, однако подробностей о том, как именно эти возможности реализованы, авторы в паспорте не приводят.

Архитектурно проект связан с подходами GPT и Llama, что говорит об использовании языковых моделей для работы со звуком. Конкретные сценарии применения и ограничения по длительности или качеству генерируемого аудио авторы не указывают.

Что нужно для запуска

Код написан на Python и распространяется под лицензией Apache-2.0. Веса модели также доступны по лицензии Apache-2.0. Самый большой файл весов занимает 4.6 ГБ, а полный набор файлов — 11.6 ГБ. Это стоит учитывать при планировании дискового пространства.

Требования к оперативной памяти, видеокарте или процессору авторы не указывают. Репозиторий создан 23 января 2025 года, последнее изменение кода — 4 июня 2025 года. Исходный код доступен по адресу github.com/multimodal-art-projection/YuE, веса — на huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot, сайт проекта — map-yue.github.io.

Кому подойдёт

Инструмент будет интересен тем, кто ищет открытую альтернативу коммерческим генераторам музыки и готов работать с моделью напрямую: запускать её локально, изучать код, адаптировать под свои задачи. Наличие открытых весов и лицензии Apache-2.0 позволяет использовать проект в собственных разработках.

Тем, кто ожидает готовый сервис с веб-интерфейсом и простой настройкой, YuE может не подойти: в паспорте нет сведений о пользовательском интерфейсе, облачном доступе или готовых сборках. Также стоит учесть, что авторы не публикуют требований к оборудованию, поэтому оценить возможность запуска на конкретной машине придётся опытным путём.

YuE — это исследовательский проект с открытым кодом и открытыми весами, ориентированный на генерацию музыки по текстовым запросам. Он даёт доступ к модели уровня полноценных песен, но требует самостоятельной настройки и достаточного дискового пространства. Подойдёт разработчикам и исследователям, которым важна открытость и возможность доработки под свои нужды.