Aleph Alpha выпустила открытую MoE-модель Kolibri-1-BF16 на 78 млрд параметров

На HuggingFace 2 октября 2026 года опубликована модель Aleph-Alpha/Kolibri-1-BF16 с задачей text-generation. Это mixture-of-experts модель для рассуждений с фокусом на немецком и английском языках, с явным режимом reasoning и вызовом инструментов. Контекст — 1 048 576 токенов, для сложных задач автор рекомендует до 262 144 токенов.

Что это значит

Модель весит 145.5 ГБ в safetensors, самый большой файл — 4.7 ГБ. Всего параметров 78.1 млрд, активных на токен — 3.46 млрд. Лицензия Apache 2.0. Запускается через vllm. Для BF16-весов автор указывает минимум 4x A100 80 ГБ, 4x H100 SXM5, 2x H200, 1x B200 или 1x B300. На площадке есть 5 квантованных сборок в FP8 и GGUF, самая маленькая рабочая — Q4_K_XL на 44.2 ГБ от InsidiousFiddler. Для локального запуска на одной потребительской видеокарте модель в BF16 не подходит: footprint около 156 ГБ. Квантованная Q4_K_XL на 44.2 ГБ ближе к реальности, но автор не уточняет требования к памяти для неё. Следить за появлением новых сборок и подробностей можно в ленте новостей CPU3D.