CPU3DИИ-инструменты для 3D, видео и звука

vLLM v0.34.0: расширяемый KV-кэш включён по умолчанию

Вышел vLLM v0.34.0. В выпуске десять новых моделей, включая Mistral Large 4, MiniMax-M3.1-Flash и Nemotron-3.5-Transcribe. Model Runner V1 удалён, единственным GPU-раннером стал Model Runner V2. Заявлены ускорения на Blackwell и MI355X: до 1.95x на декодировании, до 1.6x по пропускной способности и в 1.24—1.40x быстрее TTFT для длинных промптов.

Что это значит

Главное изменение для локального запуска — расширяемый KV-кэш теперь включён по умолчанию. vLLM сам определяет размер кэша по фактически свободной памяти после прогрева, поэтому большинство моделей получают больший кэш и лучшую пропускную способность. Параметр gpu_memory_utilization по умолчанию равен 1.0. Чтобы вернуть прежнее поведение, нужно передать --gpu-memory-utilization 0.9 или --no-enable-extensible-kv-cache. Обновление может сломать существующие конфигурации. Model Runner V1 удалён полностью: переменная VLLM_USE_V2_MODEL_RUNNER=0 теперь приводит к ошибке при запуске. Размер блока по умолчанию изменён с 16 на 64, для старого поведения передаётся --block-size 16. ROCm 7.2 больше не публикуется, нужны образы ROCm 10.0. Также требуется huggingface_hub не ниже 2.0.0, tokenizers не ниже 0.23.3 и timm не ниже 1.0.30. Поддержка QuTLASS и fp_quant удалена, чекпоинты fp_quant больше не загружаются. Перед обновлением стоит проверить текущие скрипты запуска: часть параметров изменила значения по умолчанию, а старый раннер больше недоступен. Подробнее об инструментах для локального запуска нейросетей — в ленте CPU3D.
vLLM v0.34.0: расширяемый KV-кэш включён по умолчанию Запуск vLLM скрипты и параметры Расширяемый KV-кэш по умолчанию включён Определение размера по свободной памяти Больше кэш Model Runner V1 полностью удалён VLLM_USE_V2=0 ошибка при запуске Model Runner V2 единственный GPU-раннер gpu_memory_utilization = 1.0 по умолчанию block_size = 64 было 16 huggingface_hub не менее 2.0.0 tokenizers не менее 0.23.3, timm не менее 1.0.30
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также