CPU3D3D、视频与音频的 AI 工具

Luce 推出基于单张图像的 3D 资源生成,支持 PBR 材质与重新照明

研究人员在 arXiv 上发表了论文 Luce: Relightable Gaussians for 3D Asset Generation,其中介绍了一种从单张图像生成 3D 模型并支持物理正确渲染的方法。该模型使用体素化的多模态高斯点云,其中各个图元分别负责几何、反照率、金属度-粗糙度和法线。作者未公开代码。

这意味着什么

Luce 直接与我们指南中的 image-to-3d 工具竞争,但重点在于 PBR 材质和重新照明。我们将其与现有工具进行比较。 腾讯的 Hunyuan3D 2.1 声称可生成“production-ready PBR material”,即已具备 PBR 方案。然而,参数表中没有说明该模型是否支持将重新照明作为独立操作,或者 PBR 仅用于导出时的高质量纹理。 微软的 TRELLIS 和 3DTopia 的 OpenLRM 在参数表中完全未提及 PBR 材质。TRELLIS 导出带纹理的网格为 glb 格式,OpenLRM 导出为 obj 格式,但描述中均未提及反照率、金属度和法线的分离。 Luce 声称 FID 提升了 28%,CLIP 指标为 0.8519,而最佳基线方法为 0.8299,但由于没有开源代码和模型权重,目前无法验证这些结果,也无法在实践中与现有工具进行比较。开发者未说明显存要求、导出格式和许可证。 目前 Luce 仍是一项没有公开代码的研究工作,对指南用户的实际价值有限。如果代码发布,与 Hunyuan3D 2.1 在 PBR 材质质量上的对比将成为首要检验。
Luce:从单张图像生成带 PBR 的 3D 资产 单张图像 输入帧 体素化 高斯点云 几何、反照率、 金属度、法线 PBR 材质 物理正确 渲染 重新照明 独立操作 与同类对比 Hunyuan3D 2.1 有 PBR,重新照明? TRELLIS 无 PBR OpenLRM 无 PBR Luce:FID +28%,CLIP 0.8519 对比 0.8299 代码和权重未公开——目前无法实际验证
方法的工作原理。示意图根据这篇简讯绘制。

相关阅读