CPU3DИИ-инструменты для 3D, видео и звука

Fish Speech выпускает Drama 3 — модель генерации речи на 35B параметров с поддержкой 80 языков

13 октября 2026 года в репозитории Fish Speech опубликован pre-release выпуск Fish Audio Drama 3. Это модель генерации речи, которая превращает текст в «режиссируемое исполнение»: клонирует голос по нескольким референсам, следует указаниям на естественном языке, озвучивает сцены с несколькими персонажами, редактирует речь инфиллингом и синтезирует длинное или потоковое аудио. Подробности — в релизе на GitHub. Модель Drama 3 построена на гибридном MoE-бэкбоне 35B-A3B с линейным вниманием Gated DeltaNet: 256 экспертов, top-8 плюс один общий эксперт, около 3B активных параметров на токен. Бэкбон инициализирован из Qwen3.5. Аудиодекодер — новый codebook-MTP, 13 слоёв, 10 codebook, частота около 21,5 Гц, выход 44,1 кГц через ModifiedDAC. Для запуска нужен NVIDIA GPU с минимум 48 ГБ видеопамяти в режиме FP8. Код выложен в открытый доступ, модель предобучена на нескольких сотнях миллиардов токенов примерно на 80 языках и диалектах.

Что это значит

В нашем справочнике Fish Speech описан как открытый text-to-speech генератор от Fish Audio. Текущий паспорт относится к версии 1.5: модель fish-speech-1.5, самый большой файл весов 1,2 ГБ, все файлы — 1,4 ГБ. Это заметно меньше Drama 3, где только бэкбон насчитывает 35B параметров MoE, а для инференса требуется 48 ГБ видеопамяти. Лицензия кода у Fish Speech — Fish Audio Research License: бесплатное использование для исследований и некоммерческих целей, коммерция — по отдельному соглашению с Fish Audio. Веса версии 1.5 распространяются по cc-by-nc-sa-4.0. Для Drama 3 автор в релизе лицензию не указывает, поэтому условия для новой модели пока не определены. В паспорте отмечено, что S2 Pro нативно поддерживает SGLang-ускорение: Continuous Batching, Paged KV Cache, CUDA Graph и RadixAttention. В релизе Drama 3 сказано, что S2-Pro остаётся полностью поддерживаемым с тем же интерфейсом командной строки, API-сервером и WebUI, а тип модели читается из config.json чекпоинта. Это означает, что обновление не ломает существующие рабочие процессы для прежней версии. Для пользователей, которые работают с Fish Speech на локальном железе, Drama 3 — это существенно более тяжёлая модель: 48 ГБ видеопамяти против прежних 1,4 ГБ файлов весов. Тем, кто не располагает таким GPU, остаётся S2-Pro с прежним интерфейсом.
Fish Audio Drama 3 — генерация речи Текст на 80 языках Референсы клонирование голоса Указания на естественном языке Бэкбон MoE 35B-A3B 256 экспертов, top-8 Gated DeltaNet инициализация Qwen3.5 Аудиодекодер codebook-MTP 13 слоёв, 10 codebook 21,5 Гц — 44,1 кГц ModifiedDAC Аудио 44,1 кГц Требования к запуску NVIDIA GPU, минимум 48 ГБ видеопамяти, режим FP8 Версия 1.5: файлы весов 1,4 ГБ · Drama 3: только бэкбон 35B параметров MoE
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также