CPU3D3D、视频与音频的 AI 工具

Ollama v0.40.7:支持 PPLX Decider v1.2 并改进 speculative decoding

2026 年 10 月 18 日发布的 Ollama v0.40.7 新增了对 MLX 的 PPLX Decider v1.2 模型的支持,允许在 Responses API 中为不具备推理能力的模型使用 effort 参数,并让 llama-server 自动识别 speculative decoding 所用的草稿模型类型。

这意味着什么

对于通过 Ollama 在本地运行模型的用户来说,此次更新带来三项变化。第一,在搭载 Apple Silicon 的电脑上,现在可以使用 PPLX Decider v1.2——这是一个在不同候选回答之间进行选择的模型。第二,Responses API 中的 effort 参数不再仅限于推理模型:也可以为普通模型传入该参数,不过开发者并未说明在这种情况下它究竟如何影响生成。第三,llama-server 现在会在 speculative decoding 时自行识别草稿模型的类型——此前需要手动指定。 此次更新属于针对性改动,主要涉及使用 Responses API 或尝试 speculative decoding 的用户。有关本地运行神经网络工具的动态,可在 CPU3D 动态中关注。
Ollama v0.40.7 — 三项变更 PPLX Decider v1.2 答案选择 Apple Silicon, MLX Responses API effort 适用于普通模型 无需推理 llama-server 草稿类型自动 speculative decoding 无需手动指定 这意味着什么 PPLX Decider v1.2 已支持 Apple Silicon effort 不再仅限推理模型 llama-server 自动判定草稿模型类型 针对 Responses API 与投机解码的定点更新
该方法的原理。示意图依据本简讯绘制。

相关阅读