CPU3D3D、视频与音频的 AI 工具

腾讯发布 Hy4-flash——2200 亿参数开源权重 MoE 模型

2026 年 11 月 17 日,tencent/Hy4-flash 模型在 HuggingFace 上发布,用于 text-generation。它采用 MoE 架构,参数量为 2203 亿,其中每个 token 仅激活 120 亿参数。该模型接受文本和图像输入,生成文本,并支持最长 100 万 token 的上下文。

这意味着什么

safetensors 格式的完整权重占用 410.3 GB,最大的单个文件为 29.5 GB。通过 transformers 在本地运行,需要相应数量的显存或用于卸载的磁盘空间。平台上已有 18 个量化版本,格式包括 GGUF、MLX、NVFP4、FP8、EXL 和 AWQ。最紧凑的可用版本是 Baekpica 的 Q5,大小为 98.9 GB。 Tencent Hy License 1.0 许可证允许使用、修改和分发该模型,包括商业应用,前提是保留署名声明和许可证副本。只有年收入超过 5000 万美元的 MaaS 业务,或月活跃用户超过 1 亿的产品,才需要单独的书面许可证。不向第三方开放访问的内部使用无需额外许可证。 即使经过量化,该模型对家用硬件来说依然很重:Q5 版本的 98.9 GB 属于服务器级 GPU 或配备大容量内存并采用卸载的系统的水平。对于寻找紧凑本地模型的用户来说,Hy4-flash 恐怕不会成为日常工具,但作为具有长上下文的开源 MoE 模型,它为面向服务器硬件的配置树立了标杆。可以关注 CPU3D 动态,了解更轻量量化版本的出现。
输入 文本和图像 上下文最高 1M token Hy4-flash MoE 架构 220.3B 参数 每 token 激活 12B 完整权重 410.3 GB 文件最大 29.5 GB 输出 文本生成 text-generation 开放权重 量化版本 18 个版本:GGUF、MLX、NVFP4、 FP8, EXL, AWQ 最小 Q5 — 98.9 GB 服务器级 GPU Tencent Hy 1.0 许可证 使用、修改、 分发、商用 MaaS:营收超 50M $ 或月活 100M 长上下文开放 MoE 模型 — 服务器部署参考
该方法的构成。示意图根据本简讯绘制。

相关阅读