Cube-Splat представила панорамный Gaussian Splatting SLAM с открытым кодом

На arXiv опубликована работа Cube-Splat — метод одновременной локализации и построения карты (SLAM) на основе 3D Gaussian Splatting для панорамных 360-градусных изображений. Авторы разбивают каждый панорамный кадр на кубическую карту из четырёх виртуальных перспективных видов с общим оптическим центром, что позволяет согласованно обновлять единое состояние позирования по наблюдениям со всех граней. Для оценки метода представлен синтетический набор данных SynPano с фотореалистичными сценами и параметризованными траекториями. Подробности изложены в статье на arXiv.

Что это значит

Cube-Splat развивает направление, к которому относится Gaussian Splatting (3DGS) в нашем справочнике. Базовый метод 3DGS от Inria и MPII — это генератор 3D-моделей с открытым кодом, который обучается в среде PyTorch с расширениями CUDA и требует 24 ГБ видеопамяти для достижения качества, заявленного в оригинальной статье. Лицензия базового кода разрешает только некоммерческие исследовательские цели; коммерческое использование требует явного согласия лицензиаров. Cube-Splat отличается от базового 3DGS постановкой задачи: это не офлайн-генерация модели по набору снимков, а одновременная локализация камеры и построение карты в реальном времени, причём именно для панорамных камер. Авторы выложили исходный код и набор данных SynPano в открытый доступ, однако в описании работы не указаны требования к видеопамяти, платформа запуска и лицензия кода Cube-Splat. Для читателя, который ищет инструмент под свою задачу, это означает появление ещё одного открытого метода в семействе Gaussian Splatting, но с иной областью применения — панорамный SLAM, а не статичная реконструкция. О практической применимости на локальном железе судить пока рано: авторы не приводят сведений о потреблении ресурсов и условиях распространения кода.