VibeVoice-1.5B-hf：微软在 HuggingFace 发布的全新开源 text-to-audio 模型

HuggingFace 上发布了模型 vibevoice/VibeVoice-1.5B-hf，任务为 text-to-audio。它用于生成多说话人的长对话音频——例如播客。作者声称可合成最长 90 分钟、最多 4 位说话人的语音。该模型使用频率为 7.5 Hz 的连续语音分词器，并在 LLM 之上采用扩散方法。 据模型参数表：许可证 MIT，27 亿参数，最大的权重文件为 1.9 GB，仓库中 safetensors 格式总计 5 GB。通过 transformers 启动。代码已开源。

这意味着什么

在我们的音频生成指南 CPU3D 中有若干 text-to-audio 工具，VibeVoice 在多项参数上与它们不同。 ChatTTS 是任务上最接近的 text-to-audio。其权重占 1.1 GB，权重许可证为 cc-by-nc-4.0，代码为 AGPL-3.0。VibeVoice 明显更重：5 GB 权重，但许可证为 MIT——对商业使用更宽松。ChatTTS 处理 30 秒音频约需 4 GB 显存；对于 VibeVoice，作者未说明显存要求。 Coqui 的 XTTS 解决的是 text-to-speech 而非 text-to-audio。其权重为 1.9 GB，权重许可证为 Coqui Public Model License 1.0.0：仅限非商业使用，代码为 MPL-2.0。XTTS 侧重于声音克隆，而 VibeVoice 则侧重于多说话人的长对话。 MMAudio 是我们工具中最重的一个：50.5 GB 权重，权重许可证为 cc-by-nc-4.0，代码为 MIT。它解决 text-to-audio 和 video-to-audio，需要约 6 GB 显存。VibeVoice 在权重上轻一个数量级，且只专注于 text-to-audio。 VibeVoice 以所声称的生成时长和最多支持 4 位说话人而突出，这在我们的工具参数表中并未体现。不过该模型发布不久，实际的硬件要求目前尚无文档记录。