ByteDance-Seed выложила языковую модель Cola2 на HuggingFace

На HuggingFace опубликована модель ByteDance-Seed/Cola2 с задачей text-generation. Это continuous-latent языковая модель: она сжимает текст в непрерывные латентные представления, генерирует их блоками через Diffusion Transformer, а затем разворачивает обратно в дискретные токены. Чекпоинт обучен на 346,03 млрд токенов, код выложен в открытый доступ.

Что это значит

Модель содержит 8,8 млрд параметров, веса в репозитории занимают 32,7 ГБ в восьми sharded safetensors-файлах, самый крупный из которых — 4,7 ГБ. Запускается через transformers, архитектура — Diffusion Transformer. Квантованных сборок на площадке пока нет, поэтому для локального запуска потребуется видеокарта с запасом видеопамяти под полный вес модели. Лицензию автор не указал. Для тех, кто следит за локальным запуском генеративных моделей, Cola2 интересна прежде всего как исследовательская работа: генерация латентов стохастическая, и результаты на своём железе могут отличаться от заявленных в статье. Следить за появлением квантованных сборок и новостями по теме можно в ленте CPU3D.