ByteDance-Seed 在 HuggingFace 上发布语言模型 Cola2

HuggingFace 上发布了模型 ByteDance-Seed/Cola2，任务为 text-generation。这是一个连续潜空间语言模型：它将文本压缩为连续的潜在表示，通过 Diffusion Transformer 分块生成这些表示，然后再将其还原为离散 token。该检查点在 346.03 亿 token 上训练，代码已开源。

这意味着什么

模型包含 88 亿参数，仓库中的权重以八个分片 safetensors 文件存放，共占 32.7 GB，其中最大的一个为 4.7 GB。通过 transformers 启动，架构为 Diffusion Transformer。平台上目前还没有量化版本，因此本地运行需要一块显存足以容纳完整模型权重的显卡。作者未注明许可证。 对于关注生成模型本地运行的人来说，Cola2 首先是一项研究工作：潜空间生成是随机的，在自己的硬件上得到的结果可能与论文中所述不同。可以关注量化版本的出现以及相关动态，详见 CPU3D 动态。