CPU3DИИ-инструменты для 3D, видео и звука

Blockway выпустила превью модели Agens-Volundr-32B для рассуждений, кода и агентной работы

На HuggingFace опубликована модель Blockway/Agens-Volundr-32B-Preview с задачей text-generation. Это превью-релиз от Blockway: архитектура, формат и посттренировочный пайплайн финальные, но продолженное предобучение ещё идёт, и полная версия v1 заменит этот чекпоинт. Модель заявлена для рассуждений, кодинга и агентной работы, говорит на английском, упрощённом и традиционном китайском и кантонском, принимает текст и изображения, умеет вызывать инструменты. Автор отмечает, что в превью слабое место — длинные агентные сессии.

Что это значит

Модель содержит 32.7 млрд параметров, веса выложены в формате safetensors, всего в репозитории 60.9 ГБ, самый большой файл — 8 ГБ. Лицензия — apache-2.0. Запускается через transformers. На площадке есть одна квантованная сборка GGUF: Q4_K_M весом 24.8 ГБ — это самая маленькая рабочая сборка, если не считать кванты хуже 4 бит. Для запуска полной модели на своём железе потребуется заметный объём видеопамяти, а квантованная Q4_K_M на 24.8 ГБ — более реалистичный вариант для локального использования. Сборки хуже 4 бит в расчёт не берём. Подробнее о новостях локальных ИИ-инструментов — в ленте CPU3D.
Agens-Volundr-32B-Preview превью-релиз от Blockway Вход текст и изображения Модель 32.7 млрд параметров safetensors, 60.9 ГБ лицензия apache-2.0 Задачи рассуждения кодинг агентная работа вызов инструментов Выход ответ Квантование GGUF Q4_K_M 24.8 ГБ самая маленькая рабочая сборка Запуск через transformers локально на своём железе нужна видеопамять Ограничение слабое место — длинные агентные сессии Языки: английский, упрощённый и традиционный китайский, кантонский
Как устроен метод. Схема нарисована по этой заметке.

Смотрите также