CPU3D3D、视频与音频的 AI 工具

vLLM v0.34.0:可扩展 KV 缓存默认启用

vLLM v0.34.0 已发布。该版本包含十个新模型,包括 Mistral Large 4、MiniMax-M3.1-Flash 和 Nemotron-3.5-Transcribe。Model Runner V1 已被移除,Model Runner V2 成为唯一的 GPU 运行器。据称在 Blackwell 和 MI355X 上有加速:解码最高 1.95x,吞吐量最高 1.6x,长提示词的 TTFT 快 1.24—1.40x。

这意味着什么

对本地运行来说最重要的变化是,可扩展 KV 缓存现在默认启用。vLLM 会根据预热后实际可用的显存自行确定缓存大小,因此大多数模型能获得更大的缓存和更好的吞吐量。gpu_memory_utilization 参数默认值为 1.0。要恢复之前的行为,需要传入 --gpu-memory-utilization 0.9 或 --no-enable-extensible-kv-cache。 此次更新可能会破坏现有配置。Model Runner V1 已被完全移除:变量 VLLM_USE_V2_MODEL_RUNNER=0 现在会导致启动时报错。默认块大小已从 16 改为 64,要恢复旧行为需传入 --block-size 16。ROCm 7.2 不再发布,需要 ROCm 10.0 镜像。此外还要求 huggingface_hub 不低于 2.0.0、tokenizers 不低于 0.23.3、timm 不低于 1.0.30。QuTLASS 和 fp_quant 支持已被移除,fp_quant 检查点不再加载。 升级前值得检查当前的启动脚本:部分参数的默认值已改变,而旧运行器已不可用。关于本地运行神经网络的工具的更多内容,见 CPU3D 动态。
vLLM v0.34.0:可扩展 KV 缓存默认启用 启动 vLLM 脚本与参数 可扩展 KV 缓存 默认启用 大小确定 按空闲内存 更多 缓存 Model Runner V1 完全移除 VLLM_USE_V2=0 启动时出错 Model Runner V2 唯一 GPU 运行器 gpu_memory_utilization = 1.0 默认 block_size = 64 原为 16 huggingface_hub 不低于 2.0.0 tokenizers 不低于 0.23.3,timm 不低于 1.0.30
该方法的原理。示意图根据这篇简讯绘制。

相关阅读