CPU3D3D、视频与音频的 AI 工具

腾讯发布 Qwen3.8-27B 的 DSpine 草稿模型

HuggingFace 上发布了模型 tencent/Qwen3.8-27B-DSpine-b16,任务为 text-generation。这是 Qwen3.8-27B 的五层草稿模型,可并行生成 draft 令牌:每一层将预测出的特征传递给相邻位置,使因果依赖贯穿网络深度。块大小为 16,滑动窗口为 8 192 个令牌。

这意味着什么

该模型包含 2 亿参数,最大的权重文件为 model.safetensors,大小 3,8 GB。许可证为 apache-2.0,权重以 safetensors 格式发布。平台上目前还没有量化版本。关于运行,作者指定使用 BF16 下的 SGLang 0.5.22 搭配 FlashAttention 3,以及动态验证(附 DSpark 链接)并启用 ReplaySSM。 这不是一个独立的文本模型,而是用于加速 Qwen3.8-27B 推理的草稿模型。在基准测试中,DSpine 显示出比官方 DFlash2 更大的可接受块长度——例如在贪婪采样下 GSM8K 上为 7,20 对 5,69。本地运行需要同时在内存中保留主模型和这个草稿模型,因此应评估两者的总体积。关于本地运行工具的更多内容,请见 CPU3D 动态。
DSpine:Qwen3.8-27B 的草稿模型 Qwen3.8-27B 主模型 text-generation 27 亿参数 DSpine-b16 草稿模型 2 亿参数 5 层,块大小 16 验证 动态 DSpark + ReplaySSM SGLang 0.5.22 BF16 请求 draft 令牌 并行生成 draft 令牌 每层将特征传给相邻位置 跨网络深度的因果依赖 GSM8K 上接受的块长度 DSpine: 7,20 DFlash2: 5,69 运行需两个模型同时在内存中:权重总量
该方法的构造。示意图根据本简讯绘制。

相关阅读