llama.cpp v0.6.0：扩展 batch API、新模型以及 Metal 和 Vulkan 加速

llama.cpp v0.6.0 已发布。该版本新增了扩展批处理 API llama_batch_ext，其中包含用于混合 token/嵌入批次的函数 llama_process()，以及面向 MTP 和 deepstack 模型的 per-token state 嵌入；支持 320B 参数的文本与视觉混合模型 GLM-5.3-Flash（GLM5-Next）；支持 Clef 决策模型；为 Qwen4Exp 提供 MTP 投机解码；新增面向五个决策模型的服务端 API /v1/systemone；并将 ggml 更新至 v0.26.0。

这意味着什么

对于在自己的硬件上运行模型的人来说，此次发布带来了几项实际变化。新的批处理 API 允许在同一个批次中混合 token 和嵌入——这对需要在生成步骤之间传递状态的 MTP 和 deepstack 模型很重要。对 GLM-5.3-Flash 的支持让用户可以接触到这个 320B 参数的文本与视觉混合模型，不过开发者并未说明其运行所需的显存要求。 在 Apple 设备上，面向 F16 KV 的新 flash attention kernel 和 few-row MMA mat-mul 内核在投机解码和批处理解码场景下可将矩阵乘法加速至三倍。在 Vulkan 上新增了面向量化 K/V 的 sparse flash attention。面向 Qwen4Exp 的 MTP 投机解码在 DGX Spark 上带来约一倍半的解码加速。 服务端 API /v1/systemone 支持五个决策模型：laya、julia-1、lev、openjev（支持视觉）和 kev。发布说明中未注明这些新模型的许可证。 此次更新同时涉及多个方向——从面向开发者的 API 到在特定硬件上的推理加速。关于神经网络本地运行的新闻可在 CPU3D 动态中关注。