SGLang v0.5.21: новые модели, ускорение DeepSeek-V4.1 и Decisions API

Вышел выпуск инструмента запуска SGLang v0.5.21. В релиз вошло 779 пул-реквестов от 227 участников. Среди новых моделей — DeepSeek-V4.1, GigaChat 3.5, IQuest-Q1, MiMo-V2.6 и MiMo-V2.6-Pro, Ling-3.0-flash-VL, а также diffusion-модели DiffusionGemma, Qwen-Image 2.1, Anima Base v1.0, Ming-Image 0.1 и FLUX 3 Action. Подробности — в описании выпуска на GitHub.

Что это значит

Для тех, кто запускает модели на своей машине, выпуск приносит несколько практических изменений. PD-инстансы теперь могут переключаться между prefill и decode на лету, без перезапуска. Префиксный кэш по умолчанию работает на Rust-ядре. Для DeepSeek-V4.1 заявлено ускорение первого токена на длинных промптах на 22%, для Kimi K3 — рост prefill-пропускной способности в PD-обслуживании на 20,6%. Новый Decisions API (/v1/decisions) превращает LLM или VLM в низколатентный классификатор и скорер, а Score API (/v1/score) оценивает всех кандидатов в одном запросе. Также заявлена возможность запуска MiniMax-H3 с SGLang Diffusion внутри ComfyUI. Для обновления предлагается команда uv pip install --prerelease=allow sglang==0.5.21. Docker-образы доступны для NVIDIA (CUDA 13), AMD MI35x, AMD MI30x, Intel GPU и Intel CPU. Следить за новостями об инструментах для локального запуска нейросетей можно в ленте CPU3D.