CPU3DИИ-инструменты для 3D, видео и звука

Haru-4B: открытая audio-to-audio модель на 5,3 млрд параметров вышла на HuggingFace

На HuggingFace 12 ноября 2026 года опубликована модель higurashi-ai/Haru-4B с задачей audio-to-audio. Это базовая модель для непрерывного разговорного диалога: она слушает и говорит одновременно, как человек в телефонном разговоре. Каждые 133 мс модель принимает кадр пользовательского аудио и выдаёт кадр собственного аудио и текста. Веса занимают 9,8 ГБ в формате safetensors, лицензия — apache-2.0. Автор описывает модель как многоязычную: заявлены английский, испанский, португальский, немецкий, французский, китайский, японский, русский и корейский.

Что это значит

Haru-4B — это не text-to-speech, а полноценный audio-to-audio диалог, поэтому напрямую с инструментами из раздела генераторов звука она не пересекается по задаче. Ближайшие по теме инструменты решают другую задачу. XTTS от Coqui — text-to-speech с открытым кодом, но веса под Coqui Public Model License 1.0.0, которая разрешает только некоммерческое использование. Самый большой файл весов — 1,7 ГБ. У Haru-4B лицензия apache-2.0 и на код, и на веса, что заметно шире по условиям. YuE — генератор музыки, а не речи. Веса тоже под apache-2.0, но самый большой файл — 4,6 ГБ, а суммарно 11,6 ГБ. Автор указывает 24 ГБ видеопамяти для запуска. Haru-4B по описанию автора требует около 12 ГБ на NVIDIA GPU. Fish Speech — text-to-speech с весами под cc-by-nc-sa-4.0 и кодом под Fish Audio Community License, которая ограничивает коммерческое использование выручкой до 500 000 долларов в год. Самый большой файл весов — 1,2 ГБ. Haru-4B выделяется задачей: это не синтез речи по тексту, а модель непрерывного диалога, которая сама решает, когда говорить и когда слушать. Для читателя, который ищет инструмент для озвучки текста, она не замена XTTS или Fish Speech. Для сценариев живого голосового общения — отдельный класс инструмента, которого в справочнике пока не было.
Haru-4B: непрерывный audio-to-audio диалог Haru-4B audio-to-audio модель 5,3 млрд параметров apache-2.0 Вход: аудио кадр каждые 133 мс речь пользователя Выход: аудио кадр каждые 133 мс речь + текст TXT Сама решает когда говорить и слушать Другие инструменты решают другую задачу XTTS text-to-speech лицензия: некоммерч. YuE генератор музыки не речь Fish Speech text-to-speech лицензия: огранич. Haru-4B audio-to-audio apache-2.0 Отдельный класс: живое голосовое общение, а не озвучка текста
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также