Xing4.0-29B-A4B: новая MoE-модель China Telecom на 31 млрд параметров

На HuggingFace 16 сентября опубликована модель XingChen-AGI/Xing4.0-29B-A4B — text-generation модель из серии Xing (ранее TeleChat), разработанная China Telecom Artificial Intelligence Technology. При 29 млрд общих параметров на каждый токен активируются только 4 млрд, контекст — 256K с расширением до 512K. Модель обучена целиком на платформе Ascend NPU с фреймворком MindSpore.

Что это значит

Полные веса в safetensors занимают 58.1 ГБ, самый большой файл — 4.1 ГБ. Лицензия — apache-2.0. Запускается через transformers, также заявлена совместимость с vLLM, SGLang и KTransformers. На площадке есть три квантованные GGUF-сборки, самая компактная рабочая — Q8_0 на 12 ГБ от jmarceno. Для локального запуска полной модели потребуется заметный объём видеопамяти, но Q8_0-сборка на 12 ГБ выглядит реалистичной для потребительских GPU. Код выложен в открытый доступ, так что сборку под своё железо при желании можно повторить. Подробнее о новостях локальных ИИ-инструментов — в ленте CPU3D.