LocalAI v4.10.0: дашборд кластера, файл учётных данных и бенчмарк

У инструмента запуска LocalAI вышел выпуск v4.10.0. Авторы описывают три направления работы: управление кластером, загрузка моделей из приватных источников и исправления бэкендов. Подробности — в релизе на GitHub.

Что это значит

Тем, кто запускает LocalAI на нескольких машинах, выпуск даёт дашборд операций с кластером вместо плоского списка узлов: сводное состояние, загрузка VRAM, RAM, CPU и диска, вкладка запущенных моделей с размещением реплик по воркерам и массовые действия drain, resume и remove. Воркеры теперь передают телеметрию CPU при регистрации и heartbeat. Для загрузки моделей из приватных источников появился файл credentials.yaml: он аутентифицирует OCI-реестры, галереи и прямые загрузки, не разбрасывая токены по переменным окружения. Команда local-ai benchmark измеряет сквозную задержку и пропускную способность из CLI. Бэкенд ds4 получил исправления, которые делают его надёжным на CUDA: ядра собираются под целевую архитектуру, брошенный инференс отменяется, границы генерации соблюдаются, а предзаполненное рассуждение отделяется от содержимого. Распределённый режим стал стабильнее за счёт исправлений staging, liveness, виртуальных моделей и базы control-plane. Также пропатчены четыре CVE, enable_thinking=false теперь учитывается во всех текстовых бэкендах, а Apple M5 больше не падает при запуске. Ссылка на ленту новостей об ИИ-инструментах для 3D и видео: cpu3d.com/ainews.