vLLM v0.31.0rc3 добавляет случайные тестовые входы в Model Runner V2

Вышел предварительный выпуск vLLM v0.31.0rc3. В него вошло изменение Model Runner V2: Support randomized dummy inputs, которое добавляет поддержку случайных тестовых входов в новую версию раннера моделей.

Что это значит

Для тех, кто запускает модели через vLLM на своей машине, это изменение затрагивает внутренний слой исполнения — Model Runner V2. Раньше при тестовых прогонах использовались фиксированные dummy-входы, теперь их можно генерировать случайным образом. Это полезно при отладке и проверке стабильности запуска: модель получает более разнообразные синтетические данные вместо одних и тех же значений. Разработчик не уточняет, какие именно параметры рандомизации доступны и как это влияет на производительность или потребление памяти. Выпуск помечен как release candidate, то есть это не финальная стабильная версия. Следить за новостями об инструментах запуска нейросетей можно в ленте CPU3D.