HuggingFace 上发布了模型
Blockway/Agens-Volundr-32B-Preview,任务为 text-generation。这是 Blockway 的预览版发布:架构、格式和后训练流程已定稿,但继续预训练仍在进行,完整版 v1 将取代这个检查点。该模型宣称用于推理、编码和智能体工作,支持英语、简体中文、繁体中文和粤语,接受文本和图像输入,能够调用工具。作者指出,预览版的弱项是长时智能体会话。
这意味着什么
模型包含 32.7 亿参数,权重以 safetensors 格式发布,仓库总计 60.9 GB,最大文件为 8 GB。许可证为 apache-2.0。通过 transformers 启动。平台上有一个量化 GGUF 构建:Q4_K_M,体积 24.8 GB——如果不算低于 4 比特的量化,这是最小的可用构建。
在自己的硬件上运行完整模型需要可观的显存,而 24.8 GB 的量化版 Q4_K_M 是本地使用更现实的选择。低于 4 比特的构建不予考虑。更多本地 AI 工具动态——见
CPU3D 动态。
该方法如何运作。示意图根据这篇简讯绘制。