CosyVoice: генератор звука — что умеет и что нужно для запуска

CosyVoice — это генератор речи с открытым кодом от Alibaba. Он решает задачу text-to-speech: превращает текст в звучащую речь. Авторы описывают его как многоязычную модель генерации голоса, которая даёт возможности для инференса, обучения и развёртывания.

Что умеет

По описанию автора, CosyVoice — это многоязычная модель генерации голоса. В метках репозитория указаны языки: китайский, кантонский, английский, японский, корейский. Также заявлена поддержка кросс-языковой генерации и клонирования голоса.

Авторы отмечают, что модель предоставляет полный стек: инференс, обучение и развёртывание. В метках репозитория упомянуты тонкая настройка и дообучение.

Что нужно для запуска

Код написан на Python. Репозиторий открыт, лицензия кода — Apache-2.0. Веса модели также распространяются по лицензии Apache-2.0.

Общий объём файлов весов — 0,9 ГБ, самый большой файл весов — 0,9 ГБ. Авторы не указывают требования к GPU, оперативной памяти или конкретной операционной системе.

Репозиторий создан 3 июля 2024 года, последнее изменение кода — 25 мая 2026 года.

Кому подойдёт

CosyVoice подойдёт тем, кто ищет открытую модель text-to-speech с поддержкой нескольких языков и возможностью клонирования голоса. Лицензия Apache-2.0 на код и веса позволяет использовать модель в собственных проектах.

Модель не подойдёт тем, кому нужна готовая коммерческая платформа с поддержкой и гарантиями: здесь всё придётся разворачивать самостоятельно. Также авторы не указывают системные требования, поэтому перед запуском стоит проверить, хватит ли вашего оборудования.

CosyVoice — это открытый инструмент для синтеза речи, который развивается с 2024 года. Он даёт доступ к многоязычной генерации и клонированию голоса, но требует самостоятельной настройки и запуска.