CRM: генератор 3D-моделей — что умеет и что нужно для запуска

CRM (Convolutional Reconstruction Model) — это генератор трёхмерных моделей с открытым исходным кодом, созданный командой THU-ML. Инструмент решает задачу быстрого получения текстурированного 3D-меша из одного плоского изображения. Авторы позиционируют его как решение, способное выдать результат примерно за 10 секунд.

Что умеет

• Генерирует трёхмерную текстурированную модель (mesh) по одному изображению.
• В процессе работы создаёт промежуточные данные: предобработанное исходное изображение, шесть проекций с разных ракурсов и так называемые CCM (авторы не расшифровывают эту аббревиатуру в паспорте).
• Экспортирует итоговую 3D-модель в формат obj (по описанию автора).

Что нужно для запуска

• Платформа и язык: Код написан на Python. Для запуска потребуется локальная среда разработки.
• Версия Python: 3.9 (по описанию автора).
• Лицензия: MIT. Код можно свободно использовать, модифицировать и распространять.
• Зависимости: Авторы рекомендуют устанавливать пакеты по одному, полный список зависимостей в паспорте не приведён.
• Аппаратные требования: В паспорте не указаны. Можно предположить необходимость наличия GPU с достаточным объёмом видеопамяти, но конкретных цифр разработчики не приводят.
• Репозиторий: github.com/thu-ml/CRM
• Сайт проекта: ml.cs.tsinghua.edu.cn/~zhengyi/CRM/

Кому подойдёт

Инструмент будет полезен разработчикам и исследователям, которые экспериментируют с генеративными моделями и задачами реконструкции по одному изображению. Открытая лицензия MIT позволяет встраивать CRM в собственные пайплайны. Проект также может заинтересовать тех, кто работает с быстрым прототипированием 3D-контента и готов запускать код локально.

Не подойдёт пользователям, которые ищут готовое приложение с графическим интерфейсом или облачный сервис без необходимости настройки окружения. Также стоит учесть, что авторы не указывают минимальные аппаратные требования, поэтому перед запуском может потребоваться самостоятельная проверка совместимости с имеющимся оборудованием.

CRM представляет собой исследовательский инструмент, опубликованный в рамках конференции ECCV 2024. Код находится в открытом доступе, последние изменения в репозитории датированы ноябрём 2024 года. Проект ориентирован на тех, кто знаком с экосистемой Python и готов работать с кодом напрямую.