CPU3DИИ-инструменты для 3D, видео и звука

whisper.cpp v1.9.4: поддержка Windows on ARM и обновление ggml до 0.23.0

Вышел выпуск v1.9.4 инструмента запуска whisper.cpp. В репозитории на GitHub опубликованы изменения: добавлена поддержка Windows on ARM в сборочный конвейер, обновлён бэкенд ggml до версии 0.23.0, исправлен повторный запуск декодера и порядок вызова колбэка автоопределения языка.

Что это значит

Для тех, кто запускает whisper.cpp на своей машине, выпуск приносит несколько практических изменений. Сборка под Windows on ARM теперь входит в релизный процесс — это касается устройств на ARM-процессорах с Windows. Обновление ggml до 0.23.0 затрагивает вычислительные бэкенды: в Metal добавлены недостающие тюнинги для M3 Max, в SYCL объединены цепочки операций rms_norm+mul+add и add+add, исправлена неинициализированная переменная в квантовании q5_1 для s390x. Изменение порядка вызова encoder_begin_callback перед автоопределением языка может повлиять на серверный режим: теперь ответ на запрос детекции возвращает язык. Повторная инициализация декодера между вызовами устраняет нестабильность при последовательных запусках. Разработчик не уточняет требований к памяти или конкретных моделей для этого выпуска. Ссылка на ленту новостей об ИИ-инструментах для 3D и видео: cpu3d.com/ainews.
whisper.cpp v1.9.4: что изменилось Windows on ARM сборка в релизном конвейере ggml 0.23.0 Metal: тюнинги для M3 Max SYCL: слияние операций Декодер повторная инициализация Колбэк языка порядок вызова перед детекцией Серверный режим ответ детекции возвращает язык Квантование q5_1 исправлена переменная s390x Выпуск v1.9.4: стабильнее декодер, шире поддержка платформ
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также