ECCV 2024 | JHU提出首个可渲染X光的3DGS！推理加快73倍！

主要观点总结

本文介绍了针对X光新视角合成任务的3D Gaussian Splatting框架X-Gaussian。通过设计辐射高斯点云模型和可微的辐射光栅化渲染方法，实现了X光的快速渲染和高质量新视角合成。同时，文章还介绍了角度位姿立方体均匀初始化方法，提高了初始化速度和精度。实验结果表明，X-Gaussian在新视角生成任务和稀疏视角CT重建任务上均取得了显著成果。

关键观点总结

关键观点1: X-Gaussian：首个能够渲染X光的3D Gaussian Splatting框架

针对X光新视角合成任务，提出基于3D Gaussian Splatting的X-Gaussian框架。通过设计辐射高斯点云模型和可微的辐射光栅化渲染方法，实现了X光的快速渲染和高质量新视角合成。

关键观点2: 辐射高斯点云模型

针对X光各向同性的成像特点，设计辐射高斯点云模型。该模型能够模拟X光的衰减过程，并提供了可学习的特征向量。

关键观点3: 可微的辐射光栅化渲染方法

基于辐射高斯点云模型，设计可微的辐射光栅化渲染方法。该方法能够在GPU上高效并行计算，实现高质量的图像渲染。

关键观点4: 角度位姿立方体均匀初始化方法

为解决SfM算法在X光图像中的检测精度和耗时问题，设计角度位姿立方体均匀初始化方法。该方法能够直接利用X光扫描仪的参数计算相机内外参矩阵和初始稀疏点云，提高初始化速度和精度。

关键观点5: 实验结果

在新视角生成任务和稀疏视角CT重建任务上，X-Gaussian均取得了显著成果。与传统方法相比，X-Gaussian在性能上有所提升，并且辅助传统方法进行稀疏视角的CT重建取得更好的效果。