llama.cpp v1.0.0: стабильный выпуск с новыми архитектурами и TTS
Вышел llama.cpp v1.0.0. Это первый стабильный выпуск проекта: из публичного API удалены устаревшие функции, NextN API переведён в основной заголовок llama.h, а ggml обновлён до версии 1.0.0. Среди заметных добавлений — FP8 KV-кэши, кэш экспертов MoE в системной памяти с настраиваемой долей CPU, загрузка внешних PLE-шардов, три новые текстовые архитектуры (Kimi-K3.1-Pro, Ripple, xing4_0), TTS-модель drama-3, поддержка vision для MageVL-Cowork и Kimi-K3.1, а также endpoint /v1/audio/speech в llama-server.
Что это значит
Для тех, кто запускает модели локально, выпуск приносит несколько практических изменений. Во-первых, обновление до v1.0.0 означает разрыв с устаревшим API: код, написанный под старые функции llama.h, потребует правок. Во-вторых, кэш экспертов MoE в системной памяти позволяет разгрузить видеопамять за счёт CPU — разработчик даёт возможность настраивать, какую долю экспертов держать на процессоре. FP8 KV-кэши снижают потребление памяти при работе с длинными контекстами.
Расширение списка поддерживаемых архитектур означает, что модели Kimi-K3.1-Pro, Ripple-65B-Preview и xing4_0 теперь можно запускать через llama.cpp без дополнительных прослоек. Появление drama-3 TTS и endpoint /v1/audio/speech добавляет генерацию речи в llama-server, а обновлённый веб-интерфейс с чат-группами и markdown-редактором меняет работу с сервером.
Точные требования к памяти и параметры новых моделей разработчик в описании выпуска не приводит. Следить за обновлениями инструментов для локального запуска нейросетей можно в ленте новостей CPU3D.Как устроен метод. Схема нарисована по этой заметке.