InstantMesh: генератор 3D-моделей — что умеет и что нужно для запуска

InstantMesh — это генератор трёхмерных моделей с открытым исходным кодом, созданный командой Tencent ARC. Инструмент решает задачу image-to-3D, то есть восстанавливает трёхмерную сетку (mesh) по одному входному изображению. Авторы делают упор на эффективность и используют подход с разреженными видами.

Что умеет

• Генерирует трёхмерную сетку из одного изображения.
• По умолчанию экспортирует результат в формат .obj с вершинными цветами.
• При указании флага --export_texmap может экспортировать модель с текстурной картой; авторы предупреждают, что это увеличит время обработки.
• Код написан на Python и опирается на библиотеку diffusers.

Что нужно для запуска

• Платформа: по описанию автора, требуется CUDA. Дословная рекомендация: Python>=3.10, PyTorch>=2.1.0, и CUDA>=12.1.
• Память и диск: самый большой файл весов занимает 1.6 ГБ, все файлы весов в сумме — 6.8 ГБ. Требования к оперативной памяти авторы не указывают.
• Лицензия: и код, и веса модели распространяются под лицензией Apache-2.0.
• Размещение: код доступен в репозитории github.com/TencentARC/InstantMesh, веса модели — на huggingface.co/TencentARC/InstantMesh. Это локальный инструмент, облачной версии авторы не предоставляют.

Кому подойдёт

Инструмент будет полезен разработчикам и исследователям, которые хотят встроить генерацию 3D в свой пайплайн или дообучить модель. Открытая лицензия Apache-2.0 позволяет использовать код и веса в коммерческих проектах. Наличие флага для экспорта текстурной карты даёт выбор между скоростью и детализацией финальной модели.

Не подойдёт тем, кто ищет готовое облачное решение без настройки окружения — InstantMesh нужно запускать локально на машине с подходящим GPU и драйверами CUDA. Пользователям без опыта работы с Python и PyTorch также может быть сложно развернуть инструмент, так как авторы не предоставляют графического интерфейса.

InstantMesh занимает нишу быстрого генератора сеток по одному снимку. Он не требует облачной подписки, но предъявляет конкретные требования к железу и софту, которые стоит проверить до установки.