vLLM v0.31.0rc3 为 Model Runner V2 添加随机测试输入

vLLM v0.31.0rc3 发布预览版。其中包含一项变更 Model Runner V2: Support randomized dummy inputs，为新版模型运行器添加了对随机测试输入的支持。

这意味着什么

对于在自己的机器上通过 vLLM 运行模型的人来说，这项变更涉及内部执行层——Model Runner V2。此前测试运行使用固定的 dummy 输入，现在可以随机生成。这在调试和检查运行稳定性时很有用：模型会收到更多样化的合成数据，而不是相同的值。 开发者没有说明具体有哪些随机化参数可用，以及这对性能或内存占用有何影响。该版本被标记为 release candidate，也就是说这不是最终的稳定版本。 关注神经网络运行工具的相关动态，可查看 CPU3D 动态。