LocalAI v4.10.0：集群仪表板、凭据文件和基准测试

LocalAI 运行工具发布了 v4.10.0 版本。作者描述了三个工作方向：集群管理、从私有源加载模型以及后端修复。详情见 GitHub 上的发布说明。

这意味着什么

对于在多台机器上运行 LocalAI 的用户来说，本次发布提供了集群操作仪表盘，取代了扁平的节点列表：汇总状态、VRAM、RAM、CPU 和磁盘占用、显示副本在各工作节点上分布的已运行模型标签页，以及 drain、resume 和 remove 批量操作。工作节点现在在注册和心跳时会传输 CPU 遥测数据。 为了从私有源加载模型，新增了 credentials.yaml 文件：它用于对 OCI 注册表、图库和直接下载进行身份验证，无需将令牌分散到环境变量中。local-ai benchmark 命令可从 CLI 测量端到端延迟和吞吐量。 ds4 后端获得了修复，使其在 CUDA 上更加可靠：内核针对目标架构编译，被放弃的推理会被取消，生成边界得到遵守，预填充的推理与内容分离。分布式模式因 staging、liveness、虚拟模型和 control-plane 数据库的修复而变得更加稳定。此外还修补了四个 CVE，enable_thinking=false 现在在所有文本后端中都会生效，Apple M5 启动时不再崩溃。 3D 和视频 AI 工具动态链接：cpu3d.com/ainews。