Дешёвые китайские модели для программирования: что выбрать в сентябре 2026
Разработчик одного веб-проекта задал простой вопрос: какую недорогую модель подключить для программирования с оплатой по токенам, чтобы она при этом хорошо справлялась. Мы собрали цены и независимые замеры по китайским моделям на 14 сентября 2026 года, а затем проверили девять моделей на одних и тех же задачах со скрытыми тестами — от сортировки версий до починки небольшого репозитория агентом.
Короткий ответ. Из дешёвых первыми стоит пробовать DeepSeek V4.1-Flash и GLM-5.3-Flash: обе стоят около $0.15 за миллион входных токенов и $0.50—0.60 за миллион выходных, обе в верхней части независимых рейтингов и обе подключаются к Claude Code, Cline и OpenCode штатно. Если задачи тяжёлые и бюджет позволяет платить в несколько раз больше, заметно сильнее GLM-5.3. Из неожиданного — Hy3 от Tencent: с рассуждениями на наших задачах он не уступил GLM-5.3-Flash.
Свой замер добавил к рейтингам главное — как модели ведут себя на одних и тех же задачах. Девять моделей решали десять задач с одним ответом на Python, PHP и JavaScript и чинили агентом два небольших репозитория. Лучше всех справился GLM-5.3 — 20 из 20 с первой попытки, но задача у него стоит около восьми центов. Из дешёвых впереди GLM-5.3-Flash (19 из 20 за 0,4 цента) и Hy3 от Tencent с рассуждениями (19 из 20 за 1,2 цента), а DeepSeek V4.1-Flash без рассуждений решает 18 из 20 за две секунды и три сотых цента — быстрее и дешевле всех. Модели Xiaomi, самые популярные на OpenRouter, на наших задачах оказались слабее остальных.
Сколько это стоит
Цены за миллион токенов с официальных страниц. Для программирования важнее всего третья колонка: агент перечитывает одни и те же файлы десятки раз, и большая часть входа приходится на повторы, которые провайдер берёт из кэша.
| Модель | Вход | Вход из кэша | Выход | Открытые веса |
|---|---|---|---|---|
| DeepSeek V4.1-Flash | $0.15 | $0.003 | $0.60 | да, MIT |
| GLM-5.3-Flash (Z.ai) | $0.15 | $0.03 | $0.50 | да, MIT |
| Qwen3.8-Flash (Alibaba) | $0.15 | скидка на кэш есть | $0.47 | да |
| MiMo-V2.5 (Xiaomi) | $0.14 | $0.0028 | $0.28 | да |
| MiMo-V2.5-Pro (Xiaomi) | $0.435 | $0.0036 | $0.87 | да, MIT |
| Hy3 (Tencent) | $0.132 | $0.033 | $0.528 | да, Apache 2.0 |
| MiniMax-M3 | $0.30 | $0.06 | $1.20 | да |
| GLM-5.3 (Z.ai) | $1.40 | $0.26 | $4.40 | да |
| Kimi K3 (Moonshot) | $3.00 | $0.30 | $15.00 | да |
У DeepSeek есть особенность: указанные цены действуют вне пика, а в будни с 01:00 до 04:00 и с 06:00 до 10:00 UTC всё стоит вдвое дороже. По московскому времени это 4:00—7:00 и 9:00—13:00, то есть пик приходится как раз на утро рабочего дня.
Что показывают независимые замеры
Производители публикуют впечатляющие числа, но это их собственные прогоны. Разница с независимыми бывает огромной: Qwen3.6-27B по данным Alibaba решает 77,2% задач SWE-bench Verified, а на свежих задачах SWE-rebench, которых модель не могла видеть при обучении, — 31,2%. Поэтому ниже только сторонние измерения.
Artificial Analysis — общий индекс по набору тестов, включая программирование и работу в терминале (версия 4.3):
| Модель | Индекс | Скорость, токенов/с |
|---|---|---|
| GLM-5.3 | 45 | 72 |
| Kimi K3 | 44 | 37 |
| GLM-5.3-Flash | 42 | 109 |
| DeepSeek V4.1-Flash | 40 | 212 |
| Qwen3.8-Flash | 40 | 51 |
| MiniMax-M3 | 30 | 107 |
| MiMo-V2.5-Pro | 26 | 43 |
| Hy3 | 26 | 91 |
| для сравнения: Claude Sonnet 5 | 38 | 76 |
| для сравнения: GPT-5.6 Luna | 38 | 120 |
Три дешёвые «флэш»-модели стоят в индексе выше Claude Sonnet 5, при этом DeepSeek V4.1-Flash отвечает быстрее всех в таблице — вдвое быстрее GLM-5.3-Flash и вчетверо быстрее Qwen3.8-Flash. Для агента, который делает десятки шагов подряд, скорость напрямую превращается в минуты ожидания.
SWE-rebench — исправление настоящих ошибок в настоящих репозиториях, 111 задач, появившихся с 15 мая по 1 июля 2026 года. Здесь есть то, чего нет в других рейтингах: сколько денег уходит на одну задачу.
| Модель | Решено | $ на задачу | $ на решённую |
|---|---|---|---|
| GLM-5.2 | 62,9% | 1.40 | 2.23 |
| MiniMax M3 | 47,2% | 0.95 | 2.01 |
| MiMo-V2.5-Pro | 46,5% | 0.10 | 0.22 |
| DeepSeek V4-Pro | 40,2% | 0.15 | 0.37 |
| Qwen3.6-27B | 31,2% | 0.62 | 1.99 |
| для сравнения: Claude Opus 5 | 63,4% | 3.47 | 5.47 |
| для сравнения: Claude Sonnet 5 | 56,8% | 1.43 | 2.52 |
Последняя колонка — наш пересчёт: цена задачи, делённая на долю решённых. Свежих моделей (DeepSeek V4.1-Flash, GLM-5.3, Qwen3.8) в этом окне ещё нет, их задачи попадут в следующее. Но расклад виден: GLM старшей линейки почти догоняет Claude Opus 5 по доле решённого при цене в два с половиной раза ниже, а MiMo-V2.5-Pro решает меньше, зато его решённая задача стоит двадцать с небольшим центов. MiniMax M3 дёшев за токен, но тратит их много — 13,9 млн на задачу против 4—5,5 млн у соседей по таблице, поэтому в итоге выходит дорого.
Arena WebDev — оценки людей, которые сравнивают сделанные моделями веб-интерфейсы вслепую (данные на 11 сентября). Из китайских моделей выше всех Qwen3.8-Max (4-е место) и Kimi K3 (5-е), Qwen3.8-Flash на 9-м, GLM-5.3 и DeepSeek V4.1-Flash делят 15—16-е, GLM-5.3-Flash на 17-м. Для сравнения, Claude Opus 5 — третий.
Чем пользуются на деле. По доле токенов в категории «программирование» на OpenRouter в сентябре первые места у MiMo-V2.5 (15,4%), GPT-5.6 Luna (14,4%) и GLM-5.3-Flash (12,8%); DeepSeek V4-Flash и V4.1-Flash вместе дают ещё 12,1%. Разработчики голосуют деньгами ровно за дешёвые модели.
Наш замер: девять моделей на одних и тех же задачах
Все модели получили одинаковые задачи: десять с одним ответом и скрытыми тестами и два агентных задания, где модель сама чинит небольшой репозиторий, читая файлы и запуская тесты. Каждая задача решалась дважды; если тесты падали, модель видела их вывод и могла один раз исправиться. DeepSeek подключался напрямую, остальные модели — через OpenRouter. Как устроены задачи и проверки, подробно описано в конце статьи, там же полные таблицы по каждой задаче.
| Модель и режим | Подключение | С первой попытки | С подсказкой тестов | Время на задачу | Токенов в ответе | Цена задачи | Агентные задания | Цена агентного прогона | Ответов от 4-битных сборок |
|---|---|---|---|---|---|---|---|---|---|
| DeepSeek V4.1-Flash, без рассуждений | API DeepSeek | 18 из 20 | 19 из 20 | 1,9 с | 446 | $0.0003 | 4 из 4 | $0.0022 | — |
| DeepSeek V4.1-Flash, рассуждения high | API DeepSeek | 18 из 20 | 19 из 20 | 58 с | 18 348 | $0.011 | 4 из 4 | $0.0025 | — |
| DeepSeek V4.1-Flash, рассуждения max | API DeepSeek | 18 из 20 | 20 из 20 | 83 с | 24 524 | $0.015 | 4 из 4 | $0.0032 | — |
| DeepSeek V4.1-Flash, high, потолок 32K | API DeepSeek | 17 из 20 | 20 из 20 | 40 с | 11 829 | $0.0075 | 4 из 4 | $0.0027 | — |
| DeepSeek V4.1-Flash, max, потолок 32K | API DeepSeek | 18 из 20 | 20 из 20 | 57 с | 15 572 | $0.010 | 4 из 4 | $0.0035 | — |
| DeepSeek V4-Pro, high, потолок 32K | API DeepSeek | 16 из 20 | 19 из 20 | 232 с | 16 881 | $0.043 | 4 из 4 | $0.012 | — |
| DeepSeek V4.1-Flash, без рассуждений | OpenRouter | 17 из 20 | 18 из 20 | 8,3 с | 461 | $0.0007 | 4 из 4 | $0.0059 | 6% |
| DeepSeek V4.1-Flash, с рассуждениями | OpenRouter | 19 из 20 | 19 из 20 | 63 с | 6 280 | $0.0078 | 4 из 4 | $0.0063 | 13% |
| GLM-5.3-Flash, с рассуждениями | OpenRouter | 19 из 20 | 20 из 20 | 246 с | 8 971 | $0.004 | 4 из 4 | $0.0045 | 6% |
| GLM-5.3, с рассуждениями | OpenRouter | 20 из 20 | 20 из 20 | 228 с | 19 045 | $0.077 | 4 из 4 | $0.037 | 2% |
| Qwen3.8-Flash, без рассуждений | OpenRouter | 16 из 20 | 19 из 20 | 9,5 с | 815 | $0.0006 | 4 из 4 | $0.0028 | 32% |
| Qwen3.8-Flash, с рассуждениями | OpenRouter | 18 из 20 | 19 из 20 | 448 с | 27 211 | $0.013 | 4 из 4 | $0.0039 | 44% |
| MiMo-V2.5, без рассуждений | OpenRouter | 10 из 20 | 16 из 20 | 21 с | 952 | $0.0005 | 4 из 4 | $0.0015 | 0% |
| MiMo-V2.5, с рассуждениями | OpenRouter | 15 из 20 | 17 из 20 | 220 с | 9 055 | $0.0034 | 4 из 4 | $0.0031 | 0% |
| MiMo-V2.5-Pro, с рассуждениями | OpenRouter | 13 из 20 | 18 из 20 | 177 с | 7 269 | $0.01 | 4 из 4 | $0.011 | 0% |
| Hy3, без рассуждений | OpenRouter | 13 из 20 | 16 из 20 | 7,0 с | 524 | $0.0006 | 4 из 4 | $0.0033 | 0% |
| Hy3, с рассуждениями | OpenRouter | 19 из 20 | 20 из 20 | 304 с | 20 156 | $0.012 | 4 из 4 | $0.0063 | 0% |
| MiniMax-M3, с рассуждениями | OpenRouter | 15 из 20 | 18 из 20 | 122 с | 20 296 | $0.027 | 4 из 4 | $0.018 | 13% |
«Цена задачи» — средняя фактическая стоимость задачи вместе с попыткой исправления, «время» — среднее время первого ответа. Время моделей через OpenRouter зависит от того, чей сервер ответил, и у медленных перепродавцов оно в разы больше, чем у самого разработчика. Сравнивать по нему модели стоит осторожно: тот же DeepSeek через OpenRouter отвечал вчетверо медленнее, чем напрямую.
Что видно по таблице.
- GLM-5.3 — единственная модель без единой ошибки: 20 из 20 с первой попытки. Но и самая дорогая в замере: около восьми центов на задачу, в двадцать раз дороже GLM-5.3-Flash.
- GLM-5.3-Flash почти догоняет старшую модель — 19 из 20 с первой попытки и все 20 с подсказкой тестов — при цене 0,4 цента за задачу. Минус один: рассуждения у неё не выключаются, и через OpenRouter ответ шёл в среднем четыре минуты.
- Hy3 от Tencent — неожиданность замера: с рассуждениями 19 из 20 с первой попытки за 1,2 цента. Без рассуждений та же модель решает только 13 из 20 — в отличие от DeepSeek, режим рассуждений для неё решает многое.
- DeepSeek V4.1-Flash — самый быстрый и самый дешёвый: без рассуждений 18 из 20 за две секунды, с рассуждениями через OpenRouter — 19 из 20.
- Qwen3.8-Flash — середина: 18 из 20 с рассуждениями и 16 из 20 без них. С рассуждениями ответ шёл дольше всех, семь с половиной минут, а от трети до почти половины ответов пришли с четырёхбитной сборки перепродавца.
- MiniMax-M3 — 15 из 20 с первой попытки при цене 2,7 цента за задачу: дорого для такого результата.
- MiMo-V2.5 и MiMo-V2.5-Pro от Xiaomi — слабее всех: от 10 до 15 из 20 с первой попытки. Это расходится и с их популярностью на OpenRouter, и с хорошей ценой решённой задачи на SWE-rebench: на наших задачах они чаще других ошибались в деталях условия.
Агентные задания решили все. Каждая модель в каждом режиме починила оба репозитория в обоих прогонах. Разделить модели эти задания не смогли, зато показали разницу в цене: прогон стоил от 0,15 цента у MiMo-V2.5 до 3,7 цента у GLM-5.3. И ещё одна деталь: через OpenRouter из кэша пришло только 37—78% входа против 82—86% при прямом подключении к DeepSeek. Запросы одного агента попадают к разным поставщикам, и кэш теряется, а при долгой работе агента это заметные деньги.
DeepSeek подробнее: какой режим включать
Чужие рейтинги отвечают на вопрос «какая модель сильнее», но не на вопрос «какой режим включать и сколько это будет стоить». DeepSeek, которым мы сами пользуемся, мы прогнали во всех режимах, включая уходящий V4-Pro, напрямую через его API и на тех же задачах, что и остальные модели. Задачи и условия описаны в конце статьи.
| Режим | С первой попытки | С подсказкой тестов | Время на задачу | Токенов в ответе | Цена задачи |
|---|---|---|---|---|---|
| Flash без рассуждений | 18 из 20 | 19 из 20 | 1,9 с | 446 | $0.0003 |
| Flash, рассуждения high | 18 из 20 | 19 из 20 | 58 с | 18 348 | $0.011 |
| Flash, рассуждения max | 18 из 20 | 20 из 20 | 83 с | 24 524 | $0.015 |
| Flash, high, потолок ответа 32K | 17 из 20 | 20 из 20 | 40 с | 11 829 | $0.0075 |
| Flash, max, потолок ответа 32K | 18 из 20 | 20 из 20 | 57 с | 15 572 | $0.010 |
| V4-Pro, high, потолок ответа 32K | 16 из 20 | 19 из 20 | 232 с | 16 881 | $0.043 |
Без рассуждений модель справилась почти со всем, и это главный вывод для повседневной работы. Спотыкалась она только на сортировке версий: проверяла строку регулярным выражением с $ в конце, а в Python такой шаблон пропускает строку с переводом строки, и «1.2.3\n» признавалась правильной версией. В одном прогоне модель исправилась, увидев упавший тест, в другом повторила ту же ошибку. Ошибка классическая, её нередко пропускает и человек на ревью.
Рассуждения обходятся в 35—50 раз дороже и в 30—45 раз медленнее, а решают не больше. В первом прогоне мы поставили потолок ответа 32 768 токенов — похожие ограничения по умолчанию стоят во многих агентах, — и четыре из пяти неудачных первых попыток в режимах high и max оказались вовсе не ошибками в коде: модель обрывалась посреди рассуждений, так и не написав ни строки. Если включаете рассуждения, поднимите потолок: DeepSeek разрешает до 384 тысяч токенов.
Во втором прогоне потолок был 131 тысяча токенов. Обрывов почти не осталось, но и результат не вырос: с первой попытки те же 18 из 20, что и без рассуждений. Режим high писал в среднем по 18 тысяч токенов на задачу, max — по 24 тысячи, а однажды high исчерпал все 131 тысячу за пять минут над функцией в тридцать строк и не выдал ответа. Оба режима вдобавок споткнулись на задаче на PHP, которую без рассуждений модель решила сразу: фильтр по русским названиям возвращал у них пустой массив. На таком числе задач разница в одну-две попытки лежит в пределах случайности, а разница в цене и времени — нет.
С агентными заданиями справились все режимы: оба репозитория починены в каждом из четырёх прогонов, без единого ошибочного вызова инструмента и без попыток подогнать тесты вместо кода.
| Режим | Решено | Шагов | Время прогона | Вход из кэша | Цена прогона |
|---|---|---|---|---|---|
| Flash без рассуждений | 4 из 4 | 8 | 15 с | 86% | $0.0022 |
| Flash, рассуждения high | 4 из 4 | 5 | 16 с | 82% | $0.0027 |
| Flash, рассуждения max | 4 из 4 | 5 | 20 с | 82% | $0.0035 |
| V4-Pro, рассуждения high | 4 из 4 | 5 | 57 с | 84% | $0.0117 |
Без рассуждений модель действует по-другому: делает восемь шагов вместо пяти и больше вызовов инструментов, пробуя и поправляя по выводу тестов, — и всё равно укладывается в то же время и выходит дешевле всех. А копеечные цены объясняются кэшем: 82—86% входных токенов агент перечитывает повторно, и DeepSeek берёт за них $0.003 за миллион.
V4-Pro мы успели проверить в последний день. DeepSeek объявил, что с 14 сентября запросы к нему переадресуются на V4.1-Flash, но во время замера Pro ещё отвечал своей моделью — это видно по служебному отпечатку в ответе. Решил он чуть меньше — 19 задач из 20 против 20 у Flash в том же режиме, — а задача занимала у него в среднем 232 секунды против 40 и стоила по ценам Pro $0.043 против $0.0075. Все пять его неудачных попыток — тот же обрыв на 32 тысячах токенов, и каждого приходилось ждать больше семи минут: ответ Pro пишет заметно медленнее. Агентные задания он решил так же, как Flash, но втрое дольше и вчетверо дороже. Так что переход DeepSeek на одну модель для программирования ничего не отнимает.
Подписка или оплата по токенам
Почти у всех производителей, кроме DeepSeek, есть «планы для программирования» с месячной оплатой и лимитом запросов на пятичасовое окно: GLM Coding Plan от $18 в месяц, Token Plan у Xiaomi от $6, у MiniMax от $22, у Alibaba остался только Pro за $50 и без Qwen3.8 в списке моделей. Выгода есть, если в агенте сидят каждый день. Но у подписок два ограничения: пользоваться ими разрешено только из поддерживаемых инструментов (Claude Code, Cline, OpenCode и подобных), а не из своих скриптов, и точные лимиты часто не публикуются. Для нерегулярной работы и для своего кода проще оплата по токенам.
Как подключить к Claude Code
У всех трёх первых кандидатов есть адрес, совместимый с API Anthropic, поэтому Claude Code работает с ними без прослоек — достаточно переменных окружения ANTHROPIC_BASE_URL и ANTHROPIC_AUTH_TOKEN:
- DeepSeek:
https://api.deepseek.com/anthropic, модельdeepseek-flash[1m](с контекстом на миллион токенов). Официальная инструкция DeepSeek ставитCLAUDE_CODE_EFFORT_LEVEL=max. - Z.ai (GLM):
https://api.z.ai/api/anthropic. По умолчанию все роли получают GLM-5.3-Flash, старшую модель нужно указать вручную. - Xiaomi (MiMo):
https://api.xiaomimimo.com/anthropic.
Для Cline, Roo и других инструментов с OpenAI-совместимым API у тех же провайдеров есть обычные адреса.
Про оплату из России
По сообщениям пользователей, российские карты не принимают ни DeepSeek, ни Z.ai, ни Alibaba Cloud, а LongCat от Meituan берёт только Alipay и WeChat Pay. Обычные пути — зарубежная карта или OpenRouter: он пускает из России, принимает криптовалюту с комиссией около 5% и продаёт доступ к большинству моделей из таблицы. У OpenRouter стоит смотреть, какой именно поставщик обслуживает модель: у дешёвых бывают урезанные сборки и не работает вызов инструментов, а цена DeepSeek через его собственный узел совпадает с официальной.
А на своём железе?
Все модели из таблицы выложены с открытыми весами, но запускать дома всерьёз можно не всё. DeepSeek V4.1-Flash — это 552 млрд параметров, GLM-5.3-Flash — 320 млрд, для них нужен сервер. Из свежего для одной видеокарты годится Qwen3.8-27B под лицензией Apache 2.0: в четырёхбитной сборке Q4_K_M она весит 16,5 ГБ и помещается в видеокарту на 24 ГБ вместе с контекстом. На Arena WebDev она стоит 18-й, сразу за GLM-5.3-Flash, — для локальной модели очень прилично, хотя до облачных «флэшей» в агентной работе ей далеко.
Итог
- DeepSeek V4.1-Flash через API DeepSeek — выбор по умолчанию: самый быстрый и самый дешёвый, на наших задачах без рассуждений решил 18 из 20 с первой попытки. Рассуждения стоит включать только на заковыристых алгоритмах и с поднятым потолком ответа. Тяжёлые сессии выгоднее запускать вне пика — в будни после 13:00 по Москве.
- GLM-5.3-Flash — лучший результат среди дешёвых: 19 из 20 с первой попытки при цене 0,4 цента за задачу. Стоит взять, если качество важнее скорости. Через OpenRouter ответ шёл минутами; у самого Z.ai модель, по замерам Artificial Analysis, выдаёт около 110 токенов в секунду. Есть и подписка от $18 в месяц.
- GLM-5.3 — когда нужна максимальная надёжность: единственная модель без ошибок, но в двадцать раз дороже младшей.
- Hy3 от Tencent — интересная альтернатива: с рассуждениями не хуже GLM-5.3-Flash за 1,2 цента на задачу, без рассуждений не годится.
- Qwen3.8-Flash — рабочий вариант, но оплатить Alibaba Cloud из России сложно, а через OpenRouter заметная часть ответов приходит с урезанных сборок.
- MiniMax-M3 и модели Xiaomi на наших задачах уступили остальным. Kimi K3 при цене $15 за миллион выходных токенов к дешёвым не относится и в замер не вошёл.
Ограничения проверки стоит держать в голове. Двадцать попыток на модель — небольшая выборка, и разница в одну-две задачи лежит в пределах случайности. Через OpenRouter нельзя было выбрать поставщика, поэтому часть моделей отвечала с урезанных сборок. Агентные задания оказались лёгкими для всех. На реальном проекте контекст каждого шага агента в десятки раз больше, поэтому цена кэша и скорость ответа там весят больше, чем в наших таблицах.
Как проходил замер: условия, задачи, полные результаты
Этот раздел для тех, кто хочет проверить выводы или повторить опыт. Все запросы отправлены 14 сентября 2026 года.
Как подключались модели. DeepSeek — напрямую через API DeepSeek, вне пиковых часов. Остальные модели — через OpenRouter по ключу fal.ai: сам OpenRouter из России не открывается, а fal пропускает к нему запросы. В режиме без рассуждений температура 0, в режимах с рассуждениями — по умолчанию модели. Потолок ответа без рассуждений — 8 тысяч токенов у DeepSeek и 16 тысяч у моделей через OpenRouter, с рассуждениями — 131 тысяча у DeepSeek и 96 тысяч у остальных. Первый прогон DeepSeek шёл с потолком 32 768 токенов — именно на нём рассуждения обрывались, и в сводных таблицах он указан отдельно.
Как считался успех. Модель получает условие задачи и системную подсказку: «ответь полным решением в одном блоке кода, только стандартная библиотека, без тестов и пояснений». Код из ответа запускается вместе со скрытыми тестами от отдельного пользователя без прав и с ограничением в 60 секунд. Если тесты падают, модель видит их вывод и получает одну попытку исправить. «С первой попытки» и «с подсказкой тестов» в таблицах — это доля решённых попыток. Каждая задача решалась дважды в каждой конфигурации. Перед замером все задачи проверены эталонными решениями: эталон обязан проходить тесты, а исходный код с ошибками у задач на исправление — падать.
Как считалась цена. У DeepSeek — по токенам из ответа API и официальным ценам вне пика, отдельно для попаданий в кэш. У моделей через OpenRouter — фактическая стоимость, которую OpenRouter возвращает в каждом ответе. fal списал со счёта $3.75 при стоимости запросов по данным OpenRouter $3.56 — около 5% сверху за посредничество.
Кто отвечал на запросы. У OpenRouter одну модель обслуживают разные компании, и через fal выбрать поставщика нельзя: запрос с таким указанием fal отклоняет. Поэтому ответы приходили то с серверов разработчика модели, то от перепродавцов, в том числе с четырёхбитных сборок, которые бывают слабее оригинала. Какая доля ответов пришла с таких сборок, показано в таблице результатов: там, где она велика, при прямом подключении к разработчику модель может показать себя лучше.
Десять задач с одним ответом
| Задача | Язык | Что проверяет |
|---|---|---|
| Разбор длительности вида «1h30m» | Python | строгую грамматику: порядок единиц, запрет пробела между числом и единицей, точную десятичную арифметику — «0.1h» должно дать ровно 360 секунд, а на двоичных дробях выходит 360,00000000000006 |
| Сортировка версий по SemVer 2.0.0 | Python | буквальное следование спецификации: числовые и буквенные метки предрелиза, метаданные сборки, запрет ведущих нулей, строку с переводом строки на конце |
| SQL: два лучших покупателя в каждой стране | Python и SQLite | оконные функции, границу календарного года, исключение возвратов, покупателей без страны и ровно две строки на страну при равных суммах — ROW_NUMBER, а не RANK |
| Исправить подсчёт рабочих дней | Python | три ошибки в готовом коде (знак, граница диапазона, «или» вместо «и») и требование скорости: диапазон в тысячи лет должен считаться быстрее секунды |
| JSON Patch по RFC 6902 | Python | все шесть операций, экранирование в JSON Pointer, атомарность (при ошибке документ не меняется), сравнение по правилам JSON, где true не равно 1 |
| Раскладка суммы на доли | Python | метод наибольших остатков, отрицательные суммы, точность на числах до 1030 без плавающей точки |
| Асинхронный запуск с ограничением | Python, asyncio | порядок старта, не больше заданного числа задач одновременно, исключения вместо результата и корректную отмену всего запуска |
| «Ведро токенов» для ограничения частоты | Python | пополнение по подставным часам, отказ без списания и поведение, когда часы идут назад |
| Исправить функцию группировки | PHP 8.3 | типичные ловушки PHP: array_merge теряет числовые ключи, strpos возвращает 0 при совпадении в начале, strtolower не понимает UTF-8, array_filter по умолчанию получает значения, а не ключи |
| LRU-кэш со сроком жизни | JavaScript, Node.js 22 | порядок вытеснения, has(), который не должен освежать запись, удаление просроченных раньше живых, ключи NaN и объекты |
Два агентных задания
Модель получает описание репозитория и четыре инструмента: список файлов, чтение файла, запись файла целиком и запуск тестов. Файлы тестов защищены от записи, шагов не больше 30. Когда модель заканчивает, тесты запускаются заново, а файлы тестов сверяются по контрольной сумме.
- Корзина интернет-магазина, 9 тестов. НДС округляется по банковским правилам вместо обычных, промокод чувствителен к регистру и не действует в последний день, повторное добавление товара затирает количество, пустая корзина возвращает 0 вместо 0.00, дата по умолчанию не подставляется — и вдобавок нужно с нуля написать печать чека, согласованную с итоговой суммой.
- Разбор журналов nginx, 7 тестов. Теряется часовой пояс, строка запроса попадает в путь, размер «-» ломает разбор строки, процентиль считается неверно и падает на пустом списке, доля ошибок 5xx считается с 501 и делит на ноль, при равенстве путей нарушен порядок — и нужно написать сводный отчёт с разбивкой по часам UTC.
Полные результаты по задачам
В каждой клетке — сколько попыток из двух решено с первой попытки и сколько с подсказкой тестов («1/2» — одна сразу, вторая после подсказки). Для агентных заданий — сколько прогонов закончилось проходящими тестами.
| Модель и режим | длительность | SemVer | SQL | рабочие дни | JSON Patch | доли суммы | asyncio | ведро токенов | PHP | JS LRU | корзина | логи nginx |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DeepSeek V4.1-Flash, без рассуждений | 2/2 | 0/1 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| DeepSeek V4.1-Flash, рассуждения high | 1/1 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 1/2 | 2/2 | 2 из 2 | 2 из 2 |
| DeepSeek V4.1-Flash, рассуждения max | 2/2 | 1/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 1/2 | 2/2 | 2 из 2 | 2 из 2 |
| DeepSeek V4.1-Flash, high, потолок 32K | 1/2 | 1/2 | 2/2 | 2/2 | 1/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| DeepSeek V4.1-Flash, max, потолок 32K | 2/2 | 2/2 | 2/2 | 2/2 | 0/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| DeepSeek V4-Pro, high, потолок 32K | 2/2 | 2/2 | 2/2 | 2/2 | 0/1 | 2/2 | 0/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| DeepSeek V4.1-Flash, без рассуждений (OpenRouter) | 1/2 | 0/0 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| DeepSeek V4.1-Flash, с рассуждениями (OpenRouter) | 1/1 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| GLM-5.3-Flash, с рассуждениями (OpenRouter) | 2/2 | 2/2 | 2/2 | 1/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| GLM-5.3, с рассуждениями (OpenRouter) | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| Qwen3.8-Flash, без рассуждений (OpenRouter) | 2/2 | 0/2 | 1/1 | 2/2 | 1/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| Qwen3.8-Flash, с рассуждениями (OpenRouter) | 2/2 | 1/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 1/1 | 2 из 2 | 2 из 2 |
| MiMo-V2.5, без рассуждений (OpenRouter) | 2/2 | 0/0 | 0/2 | 2/2 | 0/1 | 2/2 | 2/2 | 2/2 | 0/1 | 0/2 | 2 из 2 | 2 из 2 |
| MiMo-V2.5, с рассуждениями (OpenRouter) | 2/2 | 0/0 | 2/2 | 2/2 | 1/1 | 2/2 | 2/2 | 2/2 | 0/2 | 2/2 | 2 из 2 | 2 из 2 |
| MiMo-V2.5-Pro, с рассуждениями (OpenRouter) | 2/2 | 0/1 | 2/2 | 2/2 | 1/2 | 2/2 | 1/2 | 2/2 | 1/2 | 0/1 | 2 из 2 | 2 из 2 |
| Hy3, без рассуждений (OpenRouter) | 0/1 | 1/1 | 2/2 | 2/2 | 0/1 | 2/2 | 2/2 | 2/2 | 0/1 | 2/2 | 2 из 2 | 2 из 2 |
| Hy3, с рассуждениями (OpenRouter) | 2/2 | 2/2 | 2/2 | 2/2 | 1/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2/2 | 2 из 2 | 2 из 2 |
| MiniMax-M3, с рассуждениями (OpenRouter) | 1/1 | 2/2 | 2/2 | 2/2 | 1/1 | 2/2 | 1/2 | 1/2 | 1/2 | 2/2 | 2 из 2 | 2 из 2 |
Почему задачи оставались нерешёнными
«Обрыв» — модель упёрлась в потолок ответа и не дописала код, «ошибка в коде» — код написан, но не проходит тесты. Там же — сколько шагов делал агент и какая доля входа пришла из кэша.
| Модель и режим | Неудачных попыток | из них обрыв на потолке ответа | ошибка в коде | Агентные: шагов в среднем | Агентные: вход из кэша |
|---|---|---|---|---|---|
| DeepSeek V4.1-Flash, без рассуждений | 3 | 0 | 3 | 8,0 | 86% |
| DeepSeek V4.1-Flash, рассуждения high | 3 | 1 | 2 | 5,0 | 83% |
| DeepSeek V4.1-Flash, рассуждения max | 2 | 0 | 2 | 5,2 | 83% |
| DeepSeek V4.1-Flash, high, потолок 32K | 3 | 2 | 1 | 5,0 | 82% |
| DeepSeek V4.1-Flash, max, потолок 32K | 2 | 2 | 0 | 5,0 | 82% |
| DeepSeek V4-Pro, high, потолок 32K | 5 | 5 | 0 | 5,2 | 84% |
| DeepSeek V4.1-Flash, без рассуждений (OpenRouter) | 5 | 0 | 5 | 6,0 | 37% |
| DeepSeek V4.1-Flash, с рассуждениями (OpenRouter) | 2 | 1 | 1 | 6,2 | 51% |
| GLM-5.3-Flash, с рассуждениями (OpenRouter) | 1 | 0 | 1 | 6,5 | 50% |
| GLM-5.3, с рассуждениями (OpenRouter) | 0 | 0 | 0 | 7,5 | 45% |
| Qwen3.8-Flash, без рассуждений (OpenRouter) | 5 | 0 | 5 | 8,2 | 70% |
| Qwen3.8-Flash, с рассуждениями (OpenRouter) | 3 | 0 | 3 | 7,5 | 64% |
| MiMo-V2.5, без рассуждений (OpenRouter) | 14 | 0 | 14 | 7,0 | 71% |
| MiMo-V2.5, с рассуждениями (OpenRouter) | 8 | 0 | 8 | 7,8 | 72% |
| MiMo-V2.5-Pro, с рассуждениями (OpenRouter) | 9 | 0 | 9 | 8,0 | 76% |
| Hy3, без рассуждений (OpenRouter) | 11 | 0 | 11 | 8,2 | 78% |
| Hy3, с рассуждениями (OpenRouter) | 1 | 0 | 1 | 7,5 | 77% |
| MiniMax-M3, с рассуждениями (OpenRouter) | 7 | 2 | 5 | 9,5 | 63% |
Кто на самом деле отвечал через OpenRouter
Число ответов от каждого поставщика и квантование его сборки по данным OpenRouter («unknown» — поставщик не указал).
- DeepSeek V4.1-Flash, без рассуждений: Alibaba (unknown) — 14, GMICloud (fp8) — 10, DeepInfra (fp8) — 6, DeepSeek (собственный сервер) — 5, Morph (fp8) — 4, Relace (fp4) — 3, Wafer (unknown) — 2, Modal (unknown) — 2, Venice (fp8) — 1
- DeepSeek V4.1-Flash, с рассуждениями: Alibaba (unknown) — 16, GMICloud (fp8) — 9, Relace (fp4) — 6, Venice (fp8) — 4, Morph (fp8) — 4, DeepInfra (fp8) — 3, Wafer (unknown) — 2, Parasail (fp8) — 1, DeepSeek (собственный сервер) — 1
- GLM-5.3-Flash, с рассуждениями: StreamLake (fp8) — 21, не назван (vLLM) — 5, Relace (unknown) — 4, Z.AI (fp8) — 4, Crusoe (fp4) — 2, Wafer (unknown) — 2, GMICloud (fp8) — 2, DeepInfra (fp4) — 1, SiliconFlow (fp8) — 1, Parasail (fp8) — 1, Phala (fp8) — 1, Sail Research (fp8) — 1, NextBit (fp8) — 1, Venice (unknown) — 1
- GLM-5.3, с рассуждениями: Morph (fp8) — 29, DigitalOcean (unknown) — 3, Reka (fp8) — 3, Venice (unknown) — 2, не назван (vLLM) — 2, Wafer (unknown) — 2, SiliconFlow (fp8) — 2, Modal (unknown) — 2, Novita (fp8) — 1, AkashML (fp8) — 1, GMICloud (fp8) — 1, AtlasCloud (fp8) — 1, Makora (fp4) — 1
- Qwen3.8-Flash, без рассуждений: Alibaba (unknown) — 39, Makora (fp4) — 18
- Qwen3.8-Flash, с рассуждениями: Alibaba (unknown) — 29, Makora (fp4) — 23
- MiMo-V2.5, без рассуждений: Xiaomi (fp8) — 36, DeepInfra (fp8) — 16, StreamLake (unknown) — 4, Novita (fp8) — 2
- MiMo-V2.5, с рассуждениями: Xiaomi (fp8) — 30, DeepInfra (fp8) — 13, StreamLake (unknown) — 12, Novita (fp8) — 1
- MiMo-V2.5-Pro, с рассуждениями: DigitalOcean (unknown) — 34, DeepInfra (fp8) — 6, Xiaomi (fp8) — 5, GMICloud (bf16) — 5, Novita (unknown) — 5, StreamLake (unknown) — 3, AtlasCloud (fp8) — 1
- Hy3, без рассуждений: Tencent (fp8) — 32, DeepInfra (fp8) — 9, GMICloud (bf16) — 8, Novita (unknown) — 4, Phala (unknown) — 4, AtlasCloud (fp8) — 3
- Hy3, с рассуждениями: Tencent (fp8) — 32, DeepInfra (fp8) — 10, GMICloud (bf16) — 4, Phala (unknown) — 2, AtlasCloud (fp8) — 2, Novita (unknown) — 1
- MiniMax-M3, с рассуждениями: Novita (fp8) — 28, DeepInfra (fp8) — 11, CoreWeave (fp4) — 7, Minimax (fp8) — 6, AtlasCloud (fp8) — 4, StreamLake (fp8) — 3, GMICloud (fp8) — 2, ModelRun (fp4) — 1, не назван (vLLM) — 1
Источники
Цены — с официальных страниц DeepSeek, Z.ai, Alibaba Cloud Model Studio, Xiaomi MiMo, Tencent Cloud, MiniMax и Moonshot на 14 сентября 2026 года. Независимые замеры: Artificial Analysis, SWE-rebench, Arena WebDev, OpenRouter, категория «программирование». Результаты, которые производители публикуют о своих моделях сами, в сравнения намеренно не вошли — одно такое число приведено только как пример расхождения. Собственный замер: DeepSeek — через его API, остальные модели — через OpenRouter по ключу fal.ai.
