VideoArgus предлагает единую систему оценки генерации и редактирования видео на основе рубрик

Исследователи представили VideoArgus — фреймворк для оценки качества сгенерированных и отредактированных видео, описанный в работе на arXiv. В отличие от существующих бенчмарков, привязанных к фиксированному контенту, VideoArgus для каждого входного экземпляра создаёт индивидуальную рубрику с конкретными критериями, правилами оценки и планом сбора доказательств. На её основе VLM-модели и визуальные инструменты выставляют баллы и формируют диагностический отчёт. Авторы также подготовили VideoArgus-Bench — набор входных данных из изображений и видео высокого качества с предварительно сгенерированными и зафиксированными рубриками. На отдельной выборке для сопоставления с человеческими оценками VideoArgus показал более высокую корреляцию с мнением людей, чем специализированные оценщики для каждой из пяти задач.

Что это значит

Новость напрямую не меняет функциональность инструментов из нашего справочника генераторов видео, но затрагивает тему оценки их работы. VideoArgus покрывает пять сценариев генерации и редактирования видео. В наших паспортах у LTX-Video указана задача image-to-video, у CogVideoX — text-to-video, у Pyramid Flow — text-to-video. Ни один из этих инструментов не включает встроенных средств оценки результата, поэтому VideoArgus может рассматриваться как внешний способ сравнения их выдачи. Авторы отмечают, что рейтинги моделей остаются в основном стабильными при смене VLM-моделей, используемых для генерации рубрик и оценки. Это говорит о том, что подход пригоден для сопоставления разных генераторов, включая те, что есть в нашем справочнике. Фреймворк и бенчмарк выложены в открытый доступ, что позволяет любому желающему протестировать свои модели или сравнить сторонние решения по единой методике.