CPU3D3D、视频与音频的 AI 工具

UniAVC:视频生成器——功能与运行要求

UniAVC 是 HKUST LONG Group 研究团队推出的开源视频生成器。它解决 text-to-video 任务,并且从仓库的标签来看,还涉及相关场景:audio-to-video、video-to-audio、音频与视频的联合生成和编辑,以及在单一模型框架内进行视频编辑。

功能

作者将该项目描述为一个用于创建和编辑音频与视频的统一模型。仓库中标注了以下标签:audio-to-video、joint-audio-video-editing、joint-audio-video-generation、unified-model、video-editing、video-generation 和 video-to-audio。这表明该模型不仅用于根据文本生成视频,还用于处理音轨——既包括创建音轨,也包括与视频画面进行联合编辑。

参数表中没有详细的架构分析或输出示例,因此只能根据所声明的任务和项目定位来判断结果质量。

运行要求

代码使用 Python 编写。作者在 Python 3.10、CUDA 12.8 和 PyTorch 2.8 环境下进行了测试。据作者描述,平台为 CUDA,也就是说运行需要 NVIDIA 图形处理器。

最大的权重文件占用 43 GB,这一数值也被标注为所有权重文件的总大小。据作者描述,该模型所需的显存远高于单块 80 GB 图形处理器所能提供的容量——原文为:“speed and needs substantially more VRAM than a single 80 GB GPU provides at the”。这是开发者的声明,而非独立测量结果。

代码以 CC BY-NC 4.0 许可证分发。其条款仅允许出于非商业目的复制、分发和改编代码。分发时必须保留作者信息、许可证声明,并注明所做的修改。禁止对接收者施加额外限制。

模型权重以 LTX-2 Community License 许可证分发。只要公司的年营收未达到特定阈值,该模型即可自由用于任何目的的使用、修改和分发。超过该阈值则需要付费商业许可证。禁止军事用途、训练竞争模型、创建竞争产品以及 Attachment A 中的其他若干限制。衍生作品必须在本许可证下分发。

适用人群

该项目适合从事视频与音频生成模型研究、并能使用 CUDA 高性能硬件的研究人员和开发者。开源代码允许研究其实现,并将其适配于非商业任务。

对于商业项目,该模型仅在有保留条件的情况下适用:代码许可证禁止商业使用,而权重许可证对营收超过既定阈值的公司施加限制。对于没有大显存专用图形处理器的普通用户来说,运行将十分困难。

UniAVC 是一个开源研究工具,专注于视频与音频的统一处理。其实际应用受制于较高的显存要求,以及代码与权重分别适用的许可证,在规划项目时应当予以考虑。

UniAVC — 视频生成器流水线 Unified Audio-Video Creation · text-to-video 文本提示 场景描述 自然语言 编码 文本转嵌入 语言模型 视频生成 扩散模型 渐进式训练 同步 音频与视频 非对称调度 视频 音视频 文件 编辑 音视频联合 视频转音频 附加模式 代码许可证:CC BY-NC 4.0 · 权重许可证:LTX-2 Community License · 显存:80 GB · CUDA
UniAVC 的处理流程。示意图依据工具参数表绘制。

参数表

任务text-to-video 来源
代码许可证CC BY-NC 4.0:仅限非商业使用,须注明作者 来源
权重许可证LTX-2 Community License:营收不超过 1000 万美元免费,超出后付费 来源
平台CUDA 据作者描述 来源
显存80 GB 据作者描述 来源
最大权重文件43 GB 来源
全部权重文件43 GB 来源
Python3.10 据作者描述 来源
语言Python 来源
代码最近更新2026-10-25 来源
仓库创建时间2026-09-30 来源
经常变化 — 数据截至 2026-11-01
GitHub 星标316 来源
Fork 数9 来源
月下载量847 来源
模型更新2026-10-25 来源

数值由程序自动从官方来源采集,并于 2026-11-01 核对。每个数值都附来源链接;取自开发者页面的数值还附有原文引用——将鼠标悬停在标注上即可查看。价格与版本为核对日期时的数据,变化最频繁——购买前请以官网为准。

相关阅读