CPU3DИИ-инструменты для 3D, видео и звука

llama.cpp v1.0.0: стабильный выпуск с новыми архитектурами и TTS

Вышел llama.cpp v1.0.0. Это первый стабильный выпуск проекта: из публичного API удалены устаревшие функции, NextN API переведён в основной заголовок llama.h, а ggml обновлён до версии 1.0.0. Среди заметных добавлений — FP8 KV-кэши, кэш экспертов MoE в системной памяти с настраиваемой долей CPU, загрузка внешних PLE-шардов, три новые текстовые архитектуры (Kimi-K3.1-Pro, Ripple, xing4_0), TTS-модель drama-3, поддержка vision для MageVL-Cowork и Kimi-K3.1, а также endpoint /v1/audio/speech в llama-server.

Что это значит

Для тех, кто запускает модели локально, выпуск приносит несколько практических изменений. Во-первых, обновление до v1.0.0 означает разрыв с устаревшим API: код, написанный под старые функции llama.h, потребует правок. Во-вторых, кэш экспертов MoE в системной памяти позволяет разгрузить видеопамять за счёт CPU — разработчик даёт возможность настраивать, какую долю экспертов держать на процессоре. FP8 KV-кэши снижают потребление памяти при работе с длинными контекстами. Расширение списка поддерживаемых архитектур означает, что модели Kimi-K3.1-Pro, Ripple-65B-Preview и xing4_0 теперь можно запускать через llama.cpp без дополнительных прослоек. Появление drama-3 TTS и endpoint /v1/audio/speech добавляет генерацию речи в llama-server, а обновлённый веб-интерфейс с чат-группами и markdown-редактором меняет работу с сервером. Точные требования к памяти и параметры новых моделей разработчик в описании выпуска не приводит. Следить за обновлениями инструментов для локального запуска нейросетей можно в ленте новостей CPU3D.
llama.cpp v1.0.0 — стабильный выпуск Первый стабильный релиз: новый API, архитектуры и TTS Вход Модель + API llama.h, ggml 1.0.0 Ядро llama.cpp FP8 KV-кэши Кэш экспертов MoE доля CPU настраивается Новые модели Kimi-K3.1-Pro Ripple-65B-Preview xing4_0 без прослоек Выход Текст + речь TTS drama-3 /v1/audio/speech llama-server endpoint /v1/audio/speech генерация речи TTS drama-3 Веб-интерфейс чат-группы markdown-редактор работа с сервером Vision MageVL-Cowork Kimi-K3.1 поддержка vision Точные требования к памяти и параметры новых моделей в описании выпуска не приводятся Следить за обновлениями: лента новостей CPU3D
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также