CPU3D3D、视频与音频的 AI 工具

Underdog Woof:40 MB 的 text-to-speech 模型,面向无 GPU 的 CPU

HuggingFace 上发布了模型 ConwayResearch/Underdog-Woof —— 一个紧凑的 text-to-speech 生成器,带有两个声音:Juno 和 Mira。作者声称在 Gradium TTS Hard Cases 数据集上词错误率为 1.42%,单 CPU 线程上速度为实时的 13.8 倍,且无需 GPU、服务器和 API 密钥即可运行。该模型能像人一样朗读电话号码、日期、价格和代码。

这意味着什么

在我们的音频生成器栏目中,Underdog Woof 首先以对硬件的要求脱颖而出。该模型双声音版本占用 40.6 MB,权重以 npz 格式存放,通过 numpy 运行——无需 PyTorch 和显卡。单 CPU 线程上的峰值内存占用据称为 402 MB。作为对比:Coqui 的 XTTS 最大的权重文件需要 1.7 GB,并通过 coqui 库运行,而 Fish Speech 则需要 1.2 GB 和 CUDA 平台。 Underdog Non-Commercial License 1.0 许可证允许在个人项目、研究、教学和非营利组织中自由使用。将模型、衍生品或结果用于商业用途需要单独的书面许可。禁止在该模型或其结果上训练其他语音或音频生成模型,也禁止未经同意模仿真实人物的声音。发布音频时需注明「Underdog Woof」或「underdog.ai」。 XTTS 也有类似的限制:其权重同样仅允许非商业使用,包括商业组织进行评估,但不得直接或间接付费。YuE(YuE(乐))在这一行列中独树一帜——其代码和权重均采用 Apache-2.0,但这是用于生成音乐而非语音的模型,且需要 24 GB 显存。 Underdog Woof 是一个罕见的情况:text-to-speech 模型完全能装进笔记本电脑的内存,并在 CPU 上以有余量的实时速度运行。对于无需云服务的本地配音来说,这是硬件要求上的一次显著转变,尽管商业使用仍需单独许可。
Underdog Woof:CPU 上的 text-to-speech 文本 号码、日期、价格 代码、单词 Underdog Woof 40.6 MB,npz 格式 numpy,无需 PyTorch 内存:402 MB 速度:13.8x 实时 音频 Juno 和 Mira 音色 发音如真人 与其他模型对比 Underdog Woof 40.6 MB CPU,402 MB RAM 13.8x 实时 1.42% 错误率 XTTS (Coqui) 1.7 GB coqui 库 非商业 许可证 Fish Speech 1.2 GB CUDA 平台 需要 GPU — 许可证:非商业,禁止训练其他模型,须注明「Underdog Woof」
方法的结构。示意图根据本简讯绘制。

相关阅读