Blockway выпустила превью модели Agens-Volundr-32B для рассуждений, кода и агентной работы
На HuggingFace опубликована модель Blockway/Agens-Volundr-32B-Preview с задачей text-generation. Это превью-релиз от Blockway: архитектура, формат и посттренировочный пайплайн финальные, но продолженное предобучение ещё идёт, и полная версия v1 заменит этот чекпоинт. Модель заявлена для рассуждений, кодинга и агентной работы, говорит на английском, упрощённом и традиционном китайском и кантонском, принимает текст и изображения, умеет вызывать инструменты. Автор отмечает, что в превью слабое место — длинные агентные сессии.
Что это значит
Модель содержит 32.7 млрд параметров, веса выложены в формате safetensors, всего в репозитории 60.9 ГБ, самый большой файл — 8 ГБ. Лицензия — apache-2.0. Запускается через transformers. На площадке есть одна квантованная сборка GGUF: Q4_K_M весом 24.8 ГБ — это самая маленькая рабочая сборка, если не считать кванты хуже 4 бит.
Для запуска полной модели на своём железе потребуется заметный объём видеопамяти, а квантованная Q4_K_M на 24.8 ГБ — более реалистичный вариант для локального использования. Сборки хуже 4 бит в расчёт не берём. Подробнее о новостях локальных ИИ-инструментов — в ленте CPU3D.Как устроен метод. Схема нарисована по этой заметке.