CPU3D3D、视频与音频的 AI 工具

Haru-4B:53亿参数的开源 audio-to-audio 模型已在 HuggingFace 发布

2026年11月12日,模型 higurashi-ai/Haru-4B 在 HuggingFace 上发布,任务为 audio-to-audio。这是一个用于连续对话的基础模型:它边听边说,就像人在电话交谈中一样。每 133 毫秒,模型接收一帧用户音频,并输出一帧自己的音频和文本。模型权重以 safetensors 格式存储,占用 9.8 GB,许可证为 apache-2.0。作者将该模型描述为多语言模型:声称支持英语、西班牙语、葡萄牙语、德语、法语、中文、日语、俄语和韩语。

这意味着什么

Haru-4B 不是 text-to-speech,而是完整的 audio-to-audio 对话,因此在任务上与音频生成器栏目中的工具并不直接重叠。主题上最接近的工具解决的是另一个任务。 Coqui 的 XTTS 是开源的 text-to-speech,但模型权重采用 Coqui Public Model License 1.0.0,仅允许非商业使用。最大的权重文件为 1.7 GB。Haru-4B 的代码和权重均采用 apache-2.0 许可证,条件明显更宽松。 YuE(YuE(乐)) 是音乐生成器,而非语音生成器。权重同样采用 apache-2.0,但最大的文件为 4.6 GB,总计 11.6 GB。作者标明运行需要 24 GB 显存。据作者描述,Haru-4B 在 NVIDIA GPU 上需要约 12 GB 显存。 Fish Speech 是 text-to-speech,权重采用 cc-by-nc-sa-4.0,代码采用 Fish Audio Community License,该许可证将商业使用限制在年营收不超过 500 000 美元。最大的权重文件为 1.2 GB。 Haru-4B 的突出之处在于任务:它不是根据文本合成语音,而是连续对话模型,自行决定何时说、何时听。对于寻找文本配音工具的读者来说,它不能替代 XTTS 或 Fish Speech。对于实时语音交流场景,它属于一个独立的工具类别,指南中此前尚未收录。
Haru-4B:连续 audio-to-audio 对话 Haru-4B audio-to-audio 模型 5.3 亿参数 apache-2.0 输入:音频 每 133 ms 一帧 用户语音 输出:音频 每 133 ms 一帧 语音 + 文本 TXT 自行决定 何时说与听 其他工具解决其他任务 XTTS text-to-speech 许可证:非商业 YuE 音乐生成器 非语音 Fish Speech text-to-speech 许可证:受限 Haru-4B audio-to-audio apache-2.0 独立类别:实时语音交流,而非文本配音
方法的结构。示意图根据本简讯绘制。

相关阅读