EndoPrior-GS 改进内窥镜动态 3D 重建

研究人员提出了 EndoPrior-GS——一种基于 3D Gaussian Splatting 的动态内窥镜重建方法。该工作发表在 arXiv 上，项目页面可通过链接访问。作者将从帧中提取的视觉启发式信息与估计的深度图相结合，以获得联合纹理先验。该先验指导图元的初始化及后续的密度控制，并通过一个纹理相关项扩展到时间域，该项在训练时动态加权成对图元的贡献。在 EndoNeRF 和 SCARED 数据集上，该方法相比对比方法将 Flow Error 降低了 27,7% 和 25,8%，同时保持渲染质量和实时速度。

这意味着什么

EndoPrior-GS 发展了我们指南中的 Gaussian Splatting (3DGS) 方法。基础 3DGS 是来自 Inria 和 MPII 的开源 3D 生成器，作者将其描述为「3D Gaussian Splatting for Real-Time Radiance Field Rendering」的参考实现。代码在 Gaussian-Splatting License 下分发：仅可免费用于非商业研究目的使用、修改和分发该程序，商业应用需要许可方的明确同意。 据基础 3DGS 的参数表，训练至评估质量需要 24 GB 显存，优化器通过 PyTorch 和 CUDA 扩展在 Python 环境中运行。EndoPrior-GS 面向可变形术中场景，在这些场景中普通 3DGS 会出现虚假几何以及在光照变化时的不稳定。新工作的作者未说明其方法对显存的要求。 对于从事医学 3D 重建的人来说，EndoPrior-GS 表明纹理先验可以显著改善变形跟踪，而不损失渲染速度。同时，基础 3DGS 的许可证限制仍然有效：非商业研究定位意味着临床应需要单独协商。