VGI-Bench 用 810 个任务评估视频生成器的视觉推理能力

arXiv 发布了 VGI-Bench 的研究论文——这是一个包含 27 个任务和 810 个示例的基准测试，用于检验视频生成模型的视觉推理能力。作者构建了领域和技能的两级分类体系，要求模型不仅生成合理的最终帧，还要正确展现过程的发展，并校准难度，使任务保持部分可解性。在测试的系统中，表现最强的 Seedance 2.0 在基准标准下得分 51.0%。作者未公开代码。

这意味着什么

该基准直接涉及我们指南中视频生成器板块的工具，但测试的模型中没有一个是我们在介绍的。 LTX-Video 是 Lightricks 推出的视频生成器，支持 image-to-video 任务，代码和权重开源。工具参数表中没有关于视觉推理或任何基准测试结果的信息：作者将其描述为用于视频生成的仓库，并强调对显存要求较低。 CogVideoX（智谱 CogVideoX）来自 Zhipu AI，解决 text-to-video 任务，代码开源。参数表中同样没有视觉推理评估的数据——只有技术规格和生成任务的描述。 Pyramid Flow（快手 Pyramid Flow）是开源的 text-to-video 生成器，参数表中记录了显存要求和 MPS 支持，但没有任何关于视觉推理能力的信息。 VGI-Bench 为视频生成器的评估设立了新标杆，但目前与我们指南中的工具没有交集：我们介绍的所有生成器均未在该工作中测试，其参数表中也没有可与基准结果对比的数据。