CPU3D3D、视频与音频的 AI 工具

MLX v0.32.3:修复在 Apple Silicon 上运行模型的问题

MLX 运行工具发布了 v0.32.3 版本。本次更新修复了零尺寸轴上的 scan 和 sort 操作,为 std 和 var 添加了 correction 参数,消除了调用 mx.clear_streams() 时的死锁,还修复了负指数整数幂运算会清零整个 SIMD 向量的错误。详情见 GitHub 上的变更列表。

这意味着什么

对于通过 MLX 在自己的机器上运行神经网络的人来说,这个版本首先关乎稳定性。修复 mx.clear_streams() 中的死锁消除了清理流时的卡死,而并发加载的自适应上限让 I/O 能随机器规模扩展——在性能更强的系统上,数据加载会更快。 另外值得单独一提的是 sorted gather_qmm 中的修复:消除了 NAX 行超过 32K 时的溢出,该问题可能在大型张量上导致结果不正确。GGUF 张量维度校验降低了加载损坏或不兼容模型文件时崩溃的风险。 开发者没有说明具体涉及哪些模型,但修复触及的是基础操作——从幂运算到带 NaN 的归约。那些在通过 MLX 运行模型时遇到过卡死或不稳定表现的人,值得安装这次更新。要跟踪本地运行神经网络的工具动态,可以关注 CPU3D 动态。
MLX v0.32.3 — 修复在 Apple Silicon 上运行模型的问题 MLX 用户 运行神经网络 在自己的机器上 更新 v0.32.3 基础运算 和线程的修复 在 Apple Silicon 上 修复内容 零尺寸轴的 scan 和 sort std 和 var 的 correction 参数 mx.clear_streams() 中的死锁 带负号的幂运算 稳定运行 无卡死 和错误结果 其他改进 自适应 I/O 加载限制 sorted gather_qmm:NAX 高于 32K GGUF 张量验证 含 NaN 的归约
该方法的原理。示意图根据这篇简讯绘制。

相关阅读