无惧外观变化新SOTA！WildGaussian开源：将3DGS扩展到不受控的自然环境

主要观点总结

本文主要介绍了WildGaussians模型，该模型将高斯分布扩展到不受控的自然环境中，处理图像在不同时间或季节拍摄、通常包含不同比例的遮挡物的场景。通过外观建模和不确定性建模，实现了高质量实时渲染。文章还介绍了该模型的关键技术、实验效果、局限性以及应用场景。

关键观点总结

关键观点1: WildGaussians模型介绍

WildGaussians模型将高斯分布扩展到不受控的自然环境中，处理图像在不同时间、季节或遮挡物存在的场景。通过为3DGS量身定制的外观和不确定性建模，实现了高质量的实时渲染。

关键观点2: 外观建模

WildGaussians模型通过引入可训练的每图像嵌入和每高斯分布嵌入，结合色调映射的MLP，将3DGS扩展，使得渲染的图像能够基于特定输入图像的嵌入进行条件化。

关键观点3: 不确定性优化

WildGaussians模型利用训练图像和预测图像之间DINOv2特征的余弦相似性创建不确定性掩码，有效地在训练期间消除遮挡物的影响。

关键观点4: 实验效果

WildGaussians模型在处理自然环境的图像时取得了良好的实验效果，特别是在处理外观变化和遮挡方面表现出色。

关键观点5: 局限性

虽然WildGaussians模型实现了外观建模和实时渲染，但仍存在一些局限性，如无法捕捉到对象上的高光，在某些具有挑战性的场景中仍存在困难。