CPU3D3D、视频与音频的 AI 工具

llama.cpp v1.0.0:稳定版本发布,新增架构与 TTS

llama.cpp v1.0.0 已发布。这是该项目的首个稳定版本:已从公共 API 中移除过时函数,NextN API 已移至主头文件 llama.h,ggml 已更新至 1.0.0 版本。值得注意的新增功能包括:FP8 KV 缓存、将 MoE 专家缓存放在系统内存中并可配置 CPU 占比、加载外部 PLE 分片、三个新的文本架构(Kimi-K3.1-Pro、Ripple、xing4_0)、TTS 模型 drama-3、对 MageVL-Cowork 和 Kimi-K3.1 的视觉支持,以及 llama-server 中的 /v1/audio/speech 端点。

这意味着什么

对于在自己的硬件上运行模型的人来说,此次发布带来了几项实际变化。首先,升级到 v1.0.0 意味着与过时 API 的决裂:基于旧版 llama.h 函数编写的代码将需要修改。其次,将 MoE 专家缓存放在系统内存中,可以通过 CPU 来减轻显存压力——开发者提供了配置将多大比例的专家保留在处理器上的能力。FP8 KV 缓存可降低处理长上下文时的内存占用。 支持架构列表的扩展意味着,Kimi-K3.1-Pro、Ripple-65B-Preview 和 xing4_0 模型现在可以通过 llama.cpp 运行,无需额外的中间层。drama-3 TTS 和 /v1/audio/speech 端点的出现为 llama-server 增加了语音生成功能,而更新后的、带有聊天分组和 markdown 编辑器的网页界面则改变了与服务器交互的方式。 开发者在发布说明中并未给出新模型的确切内存要求和参数。可以在 CPU3D 动态中关注本地运行神经网络工具的更新。
llama.cpp v1.0.0 — 稳定版发布 首个稳定版本:新 API、架构与 TTS 输入 模型 + API llama.h, ggml 1.0.0 llama.cpp 核心 FP8 KV 缓存 MoE 专家缓存 CPU 占比可调 新模型 Kimi-K3.1-Pro Ripple-65B-Preview xing4_0 无中间层 输出 文本 + 语音 TTS drama-3 /v1/audio/speech llama-server endpoint /v1/audio/speech 语音生成 TTS drama-3 网页界面 聊天群组 markdown 编辑器 服务器操作 Vision MageVL-Cowork Kimi-K3.1 支持 vision 发布说明未给出新模型的确切内存要求与参数 关注更新:CPU3D 新闻动态
该方法的原理。示意图根据本简讯绘制。

相关阅读