MiniCPM-V 4.7 35B-A3B: первая MoE-модель серии с инференсом на устройстве

На HuggingFace 7 октября 2026 года опубликована модель openbmb/MiniCPM-V-4.7-35B-A3B с задачей image-text-to-text. Это первый вариант архитектуры MoE в линейке MiniCPM-V: 35,2 млрд параметров, из которых активны не все сразу. Автор заявляет скорость декодирования 13+ токенов в секунду на iPhone 17 Pro Max при 3 ГБ памяти за счёт техники Lookahead Expert Scheduling и послойного квантования.

Что это значит

Для запуска на своём железе модель доступна в формате safetensors через transformers, лицензия — apache-2.0. Полный репозиторий весит 65,6 ГБ, самый крупный файл — 4,7 ГБ. На площадке уже есть 10 квантованных сборок: GGUF, FP8, GPTQ, AWQ и MLX. Самая лёгкая рабочая сборка — IQ4_XS от AtomicChat на 16,4 ГБ; сборки хуже 4 бит в расчёт не берём. Параллельно в те же дни вышла MiniCPM-V-4.7-1B, но её паспорта в поводе нет. Следить за появлением новых моделей и квантованных сборок можно в ленте CPU3D.