Microsoft выложила UserRepGen-4B — генератор описаний пользователей для симуляторов

На HuggingFace опубликована модель microsoft/UserRepGen-4B с задачей text-generation. Это дообученная Qwen3.5-4B, которая по многошаговому диалогу пользователя с ассистентом генерирует структурированное описание пользователя в JSON: отдельно задачу и отдельно поведение. Описание предназначено для conditioning отдельного LLM-симулятора пользователя — сама модель реплики не генерирует и задачу не выполняет. Обучение шло через online supervised fine-tuning с hindsight distillation на сравнении симулированного и реального поведения, но на инференсе модель выдаёт представление напрямую, без симуляционных прогонов.

Что это значит

Модель весит 4.5 млрд параметров, самый большой файл — 8.5 ГБ в safetensors. Лицензия MIT, запуск через transformers. На площадке уже есть одна квантованная сборка в GGUF: bartowski/UserRepGen-4B-GGUF, самая маленькая рабочая — 2.3 ГБ в IQ4_XS. Для запуска 4B-модели в полной точности нужно около 9—10 ГБ видеопамяти, квант IQ4_XS укладывается примерно в 3—4 ГБ — это уровень локальных видеокарт среднего сегмента или CPU-инференса с приемлемой скоростью. Модель узкоспециализированная: она нужна тем, кто строит симуляторы пользователей для тестирования диалоговых систем. Для генерации текста или чата она не предназначена. Следить за новыми выпусками Microsoft и других разработчиков можно в ленте CPU3D.