vLLM v0.32.0：系统级解决方案、低精度 KV 缓存与 Model Runner V2

推理工具 vLLM 发布了 v0.32.0 版本。在发布说明中，作者提到来自 363 位贡献者的 814 次提交，其中 121 位是新贡献者。关键变更包括：用于结构化决策的新端点 POST /v1/systemone、基于检查点中 response_template 的通用工具与推理解析器、将低精度 KV 缓存扩展到新架构，以及在 ROCm 上默认切换到 Model Runner V2。

这意味着什么

对于在自己的机器上通过 vLLM 运行模型的人来说，本次发布带来了几项实际变化。低精度 KV 缓存现在适用范围更广：NVFP4 可在 SM8x、SM12x、SM90 上使用，并可与 SM12x 上的 XQA decode 配合使用；而 GLM-5.x 在 SM100 上默认使用 FP8 KV 缓存，这使每个 rank 的 KV 内存减半，代价是首个 token 的延迟略有增加。在 ROCm 上出现了 4 位 ultraquant_4bit KV 缓存，其密度约为 FP8 的两倍。 Model Runner V2 已成为 ROCm 上的标准配置，针对特定模型的例外已被移除。新增了带可变长度草稿的 GPU n-gram 推测器、Elastic EP、面向 MLA 模型的带 prefill context parallelism 的流水线并行，以及 stock torch.compile 模式。通用解析器 hf 会读取检查点中的 response_template，因此包含该模板的模型不再需要模型专用的解析器——这在 Python 和 Rust 前端中均有效。 关于神经网络推理工具新闻的更多内容，请见 CPU3D 动态。