EndoPrior-GS улучшает динамическую 3D-реконструкцию для эндоскопии

Исследователи представили EndoPrior-GS — метод динамической эндоскопической реконструкции на основе 3D Gaussian Splatting. Работа опубликована на arXiv, страница проекта доступна по ссылке. Авторы объединяют визуальные эвристики, извлечённые из кадров, с оценёнными картами глубины, чтобы получить совместный текстурный приор. Этот приор направляет инициализацию примитивов и последующий контроль плотности, а также расширяется на временную область через текстурно-зависимый член, который динамически взвешивает вклад парных примитивов при обучении. На датасетах EndoNeRF и SCARED метод снижает Flow Error на 27,7% и 25,8% относительно сравниваемых подходов, сохраняя качество рендеринга и скорость в реальном времени.

Что это значит

EndoPrior-GS развивает подход Gaussian Splatting (3DGS) из нашего справочника. Базовый 3DGS — это открытый генератор 3D-моделей от Inria и MPII, который авторы описывают как референсную реализацию «3D Gaussian Splatting for Real-Time Radiance Field Rendering». Код распространяется под Gaussian-Splatting License: использовать, изменять и распространять программу можно бесплатно только в некоммерческих исследовательских целях, а коммерческое применение требует явного согласия лицензиаров. По паспорту базового 3DGS для обучения до оценочного качества нужно 24 ГБ видеопамяти, оптимизатор работает через PyTorch и CUDA-расширения в Python-окружении. EndoPrior-GS нацелен на деформируемые интраоперационные сцены, где у обычного 3DGS возникают ложная геометрия и нестабильность при переменном освещении. Авторы новой работы не уточняют требования к видеопамяти для своего метода. Для тех, кто работает с 3D-реконструкцией в медицине, EndoPrior-GS показывает, что текстурные приоры могут заметно улучшить отслеживание деформаций без потери скорости рендеринга. При этом лицензионные ограничения базового 3DGS сохраняют актуальность: некоммерческий исследовательский фокус означает, что для клинического применения потребуется отдельное согласование.