CPU3D3D、视频与音频的 AI 工具

Imagination Studio 4.2.1 从引擎中移除构建机器路径

Imagination-Studio-by-keys-Wasserman 工具发布了 Imagination Studio 4.2.1 版本。GitHub 上的发布页指出,预构建引擎中已删除构建机器的路径:用于 DGX Spark 的 H3 引擎(libtf_h3.so)、Drama 3 引擎(drama3-generate 和 libtensorfold_drama3.so),以及用于 Mac 的 Bolt tensorfold-native,其调试段中带有自 3.3.0 版本以来一直未变的构建路径。现在这四个引擎都已去除调试信息。代码、数据和 CUDA 内核逐字节相同,只有头文件的几个字节发生了变化。脚本 scripts/build-carrier.sh 现在会剥离每个被打包的引擎,并拒绝接受包含构建机器主目录或用户名的有效载荷。在同一台机器上用相同 seed 交替运行新旧构建进行验证,结果完全一致:H3 的视频和音频在全部四次运行中均吻合,Drama 3 的 WAV 吻合,Mac 上的 Bolt 7 次回答全部相同。

这意味着什么

此次变更涉及 Imagination-Studio-by-keys-Wasserman——一款采用 Apache-2.0 许可证的开源视频生成器。该工具通过 Metal 在 Apple-silicon Mac 上运行,也可在 NVIDIA DGX Spark 上运行,使用 Fish Audio Drama 3 模型进行 text-to-speech。模型权重按 Fish Audio Community License 分发:允许研究、非商业使用,以及年收入低于 500 000 美元时的商业使用,提供语音生成服务的托管服务需要单独许可证。最大的单个权重文件为 3.5 GB,所有文件合计 38.6 GB。据作者描述,需要 8.3 GB 空闲显存,在 DGX Spark 上需要 128 GB unified memory。 4.2.1 版本不改变功能:这是一次卫生性更新,从二进制文件中清除构建环境的痕迹。对于在自己的硬件上运行该工具的用户来说,行为保持不变——作者通过逐字节比较输出数据证实了这一点。工具参数表中列出的最新版本为 v4.3.1,也就是说 4.2.1 是中间版本,而非当前版本。指南中没有将 Bolt 或 Drama 3 作为独立工具页面单独提及:它们属于 Imagination Studio 的组成部分。 对于从源码构建该工具的用户,应注意构建脚本现在更加严格:如果引擎中仍残留构建机器的主目录路径或用户名,脚本将拒绝打包该引擎。
Imagination Studio 4.2.1 — 卫生更新 从预构建引擎中移除构建机路径 更新前 含调试段的引擎 H3, Drama 3, Bolt tensorfold 自 3.3.0 起的构建路径 主目录和用户名 build-carrier.sh 剥离每个引擎 移除调试信息 拒绝接收含主目录路径 或用户名的载荷 更新后 干净的引擎 无调试段 代码、数据和 CUDA 内核 逐字节相同 一致性检查 新旧构建交替运行 同一机器上相同 seed H3:4 次运行视频和音频一致 Drama 3:WAV 一致 Mac 上的 Bolt:7/7 相同回答 这意味着什么 功能不变 开源视频生成器 Apache-2.0, Apple-silicon Mac, NVIDIA DGX Spark Fish Audio Drama 3 语音合成模型 权重:3.5 GB,全部文件 38.6 GB
方法是如何构成的。示意图根据本简讯绘制。

相关阅读