Agnes-AI выпустила открытую preview-модель Agnes-3.0-Flash на 33 млрд параметров
На HuggingFace опубликована модель Agnes-AI/Agnes-3.0-Flash с задачей text-generation. Это открытый preview-чекпойнт Agnes 3.0 Flash, который автор отличает от production/API-версии: у открытой модели контекст 262 144 токена, у API-версии — 1 млн токенов. Модель заявлена как мультимодальная — текст, изображения и видео.
Что это значит
Веса выложены в формате safetensors, всего в репозитории 61.6 ГБ, самый большой файл — 5.7 ГБ. Лицензия apache-2.0, запуск через transformers. На площадке есть 8 квантованных сборок: GGUF, NVFP4, FP8 и MLX. Самая маленькая рабочая сборка — 16.9 ГБ в 4 битах, вариант Agnes-3.0-Flash-MLX-4bit.
Для локального запуска полной модели в оригинальном виде потребуется заметный объём видеопамяти, но 4-битные сборки снижают порог входа. Автор не уточняет минимальные требования к GPU для разных квантов. Подробнее о новостях локальных ИИ-инструментов — в ленте CPU3D.Как устроен метод. Схема нарисована по этой заметке.