llama.cpp v1.0.0 已发布。这是该项目的首个稳定版本:已从公共 API 中移除过时函数,NextN API 已移至主头文件 llama.h,ggml 已更新至 1.0.0 版本。值得注意的新增功能包括:FP8 KV 缓存、将 MoE 专家缓存放在系统内存中并可配置 CPU 占比、加载外部 PLE 分片、三个新的文本架构(Kimi-K3.1-Pro、Ripple、xing4_0)、TTS 模型 drama-3、对 MageVL-Cowork 和 Kimi-K3.1 的视觉支持,以及 llama-server 中的 /v1/audio/speech 端点。
这意味着什么
对于在自己的硬件上运行模型的人来说,此次发布带来了几项实际变化。首先,升级到 v1.0.0 意味着与过时 API 的决裂:基于旧版 llama.h 函数编写的代码将需要修改。其次,将 MoE 专家缓存放在系统内存中,可以通过 CPU 来减轻显存压力——开发者提供了配置将多大比例的专家保留在处理器上的能力。FP8 KV 缓存可降低处理长上下文时的内存占用。
支持架构列表的扩展意味着,Kimi-K3.1-Pro、Ripple-65B-Preview 和 xing4_0 模型现在可以通过 llama.cpp 运行,无需额外的中间层。drama-3 TTS 和 /v1/audio/speech 端点的出现为 llama-server 增加了语音生成功能,而更新后的、带有聊天分组和 markdown 编辑器的网页界面则改变了与服务器交互的方式。
开发者在发布说明中并未给出新模型的确切内存要求和参数。可以在
CPU3D 动态中关注本地运行神经网络工具的更新。
该方法的原理。示意图根据本简讯绘制。