推理爆拉SOTA 2000倍！FSGS：稀疏视角的实时高仿真图像合成框架(ECCV'24)

主要观点总结

本文介绍了FSGS（Few-Shot Gaussian Splatting）方法，这是一种针对稀疏视角输入的新视图合成技术。通过利用邻近性引导的高斯解池技术、生成伪视角和使用单目相对深度对应关系，FSGS能够在视角重叠不足的情况下工作，并缓解少视角3D-GS中的过拟合问题。该方法实时生成高仿真图像，为实时渲染和更具成本效益的捕捉方法提供了新的途径。

关键观点总结

关键观点1: FSGS方法简介

FSGS是一种实时的少视角新视图合成框架，能够在视角重叠不足的情况下工作。它通过利用邻近性引导的高斯解池技术、生成伪视角和使用单目相对深度对应关系，提高了场景表示的质量和效率。

关键观点2: 高斯解池技术

FSGS采用基于点的表示，通过测量每个高斯点与其邻居的邻近性，提出一种有效的邻近性引导高斯解池技术。该技术有助于解决极度稀疏点云的问题，增强场景细节。

关键观点3: 生成伪视角和使用单目相对深度对应关系

通过生成伪视角和使用单目相对深度对应关系，FSGS能够缓解少视角3D-GS中的过拟合问题。同时，这种方法还为实时渲染和更具成本效益的捕捉方法提供了新的途径。

关键观点4: 实验效果

FSGS能够从三张图像中生成高仿真图像，并以超过200FPS的速度进行推理。然而，它目前无法推广到训练期间未观察到的遮挡视角。

关键观点5: 局限性

FSGS目前无法推广到训练期间未观察到的遮挡视角。这是该方法的一个主要局限性，需要未来的研究来解决。

文章预览

点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 摆脱稀疏输入的限制 从一组视角集合中进行新视角合成（NVS），尽管在照片级真实感渲染方面取得了成效，但 对密集支持视角的要求 阻碍了其实用性。先前的研究通过利用神经辐射场（NeRF），一种能够捕捉场景细节的强大隐式3D表示，结合体积渲染技术，提出了减少视角需求的方法。它们通常会 导致巨大的计算需求 ，进而对实时性能产生不利影响。在实现实时渲染速度和理想的照片级真实感、高分辨率输出质量之间仍存在明显差距。 本文介绍的 FSGS (Few-Shot Gaussian Splatting)[1]研究了在稀疏输入上部署3D-GS的挑战。3D-GS的有效性关键在于 稠密化过程 ，它将稀疏的初始点云转变为更详细的3D环境表示。然而，由空间梯度决定的新高斯的放置往往 ………………………………