CPU3DИИ-инструменты для 3D, видео и звука

Underdog Woof: text-to-speech модель на 40 МБ для CPU без GPU

На HuggingFace опубликована модель ConwayResearch/Underdog-Woof — компактный text-to-speech генератор с двумя голосами: Juno и Mira. Автор заявляет 1,42% ошибок в словах на наборе Gradium TTS Hard Cases, скорость 13,8x реального времени на одном потоке CPU и работу без GPU, сервера и API-ключа. Модель читает номера телефонов, даты, цены и коды так, как их произносят люди.

Что это значит

В нашем разделе генераторов звука Underdog Woof выделяется прежде всего требованиями к железу. Модель занимает 40,6 МБ в двухголосной версии, веса лежат в формате npz, а запуск идёт через numpy — без PyTorch и видеокарты. Пиковое потребление памяти на одном потоке CPU заявлено на уровне 402 МБ. Для сравнения: XTTS от Coqui требует 1,7 ГБ на самый большой файл весов и работает через библиотеку coqui, а Fish Speech — 1,2 ГБ и платформу CUDA. Лицензия Underdog Non-Commercial License 1.0 разрешает свободное использование в личных проектах, исследованиях, преподавании и некоммерческих организациях. Коммерческое применение модели, производных или результатов требует отдельной письменной лицензии. Запрещено обучать другие модели генерации речи или аудио на этой модели или её результатах, а также имитировать голос реального человека без согласия. При публикации аудио нужно указывать «Underdog Woof» или «underdog.ai». Похожие ограничения есть у XTTS: её веса тоже разрешены только для некоммерческого использования, включая оценку коммерческими организациями, но без прямой или косвенной оплаты. YuE в этом ряду стоит особняком — и код, и веса у неё под Apache-2.0, но это модель для генерации музыки, а не речи, и ей нужны 24 ГБ видеопамяти. Underdog Woof — редкий случай, когда text-to-speech модель целиком помещается в оперативную память ноутбука и работает на CPU в реальном времени с запасом. Для локального озвучивания без облачных сервисов это заметный сдвиг по требованиям к железу, хотя коммерческое использование остаётся за отдельной лицензией.
Underdog Woof: text-to-speech на CPU Текст номера, даты, цены коды, слова Underdog Woof 40,6 МБ, формат npz numpy, без PyTorch память: 402 МБ скорость: 13,8x реального Аудио голоса Juno и Mira произношение как у людей Сравнение с другими моделями Underdog Woof 40,6 МБ CPU, 402 МБ RAM 13,8x реального 1,42% ошибок XTTS (Coqui) 1,7 ГБ библиотека coqui некоммерческая лицензия Fish Speech 1,2 ГБ платформа CUDA требует GPU — Лицензия: некоммерческая, запрет обучения других моделей, указание «Underdog Woof»
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также