TRELLIS: генератор 3D-моделей — что умеет и что нужно для запуска

TRELLIS — это генератор трёхмерных моделей с открытым кодом, созданный Microsoft. Он решает задачу image-to-3D, то есть превращает одно или несколько изображений объекта в текстурированную трёхмерную сетку. В основе лежит исследовательская работа «Structured 3D Latents for Scalable and Versatile 3D Generation», представленная на конференции CVPR'25.

Что умеет

По описанию авторов, TRELLIS генерирует трёхмерные модели из входных изображений. Результат сохраняется в виде текстурированной полигональной сетки в формате GLB (файл sample.glb). Репозиторий также помечен меткой text-to-3D, однако в паспорте детали этого режима не раскрываются.

Что нужно для запуска

Код написан на Python и распространяется по лицензии MIT. Веса модели также доступны под лицензией MIT. Самый большой файл весов занимает 1.1 ГБ, а полный набор весов — 3.1 ГБ. Для работы, как заявляют разработчики, необходима платформа CUDA. В документации указано, что для компиляции некоторых подмодулей требуется CUDA Toolkit; код тестировался с версиями 11.8 и 12.2. Локальный запуск без GPU от NVIDIA, судя по этим требованиям, не предусмотрен. Облачной версии сервиса в паспорте не заявлено — это локальный инструмент.

Кому подойдёт

Инструмент будет полезен исследователям и разработчикам, которые экспериментируют с генеративным 3D и имеют доступ к машине с видеокартой NVIDIA. Открытая лицензия MIT позволяет встраивать TRELLIS в собственные проекты и дорабатывать код. Тем, кто работает на встроенной графике или видеокартах AMD, инструмент не подойдёт из-за жёсткой привязки к CUDA. Также он не рассчитан на пользователей, ожидающих готового облачного сервиса: авторы не указывают такой возможности, всё взаимодействие идёт через код. TRELLIS занимает нишу исследовательского генератора, который даёт полный контроль над процессом, но требует технической подготовки и совместимого оборудования.