OpenLRM: генератор 3D-моделей — что умеет и что нужно для запуска

OpenLRM — это генератор трёхмерных моделей с открытым исходным кодом от команды 3DTopia, решающий задачу image-to-3D. Инструмент позволяет получить объёмную модель на основе одного входного изображения и позиционируется авторами как открытая реализация Large Reconstruction Models.

Что умеет

По описанию авторов, OpenLRM восстанавливает трёхмерную геометрию из плоской картинки. В репозитории указано, что код написан на Python с использованием библиотеки transformers. Модель доступна для скачивания: самый большой файл весов занимает 1.7 ГБ, а общий объём всех файлов — 3.4 ГБ. Авторы упоминают вариант openlrm-obj-small-1.1, который обучался на наборе данных Objaverse и, судя по документации, позволяет экспортировать результат в формат obj. Другие форматы экспорта разработчики не указывают.

Что нужно для запуска

Локальный запуск требует платформы CUDA — это прямое указание из документации: авторы советуют уменьшать параметр frame_size в конфигурациях, если возникает ошибка нехватки памяти CUDA OOM. Код распространяется под лицензией Apache-2.0, а файлы весов — под cc-by-nc-4.0. Это означает, что коммерческое использование весов ограничено. Исходники можно найти в репозитории на github.com/3DTopia/OpenLRM, а веса — на huggingface.co/zxhezexin/openlrm-mix-large-1.1. Последний зафиксированный выпуск — версия v1.1.1, последнее изменение кода датировано маем 2024 года.

Кому подойдёт

Инструмент будет полезен исследователям и разработчикам в области компьютерного зрения, которые хотят разобраться в архитектуре Large Reconstruction Models или дообучить модель под свои данные. Наличие открытого кода и понятной лицензии на исходники этому способствует. Тем, кто ищет готовое решение для коммерческого пайплайна, стоит учесть некоммерческую лицензию весов и обязательное наличие GPU с поддержкой CUDA. Если видеокарты нет или она не от NVIDIA, запустить OpenLRM локально не получится. Авторы не предоставляют облачной версии, поэтому рассчитывать можно только на собственное оборудование. OpenLRM занимает свою нишу как исследовательский проект с прозрачной архитектурой. Он не пытается быть универсальным инструментом на все случаи, но даёт возможность воспроизвести и изучить подход к реконструкции 3D-моделей по единственному снимку.