CVPR最佳论文候选 | NeRF新突破，用启发式引导分割去除瞬态干扰物，无需额外先验知识

主要观点总结

本文介绍了一篇关于解决神经辐射场（NeRF）中瞬态干扰物影响的研究论文。该论文提出了一种新颖的启发式引导分割范式（HuGS），结合了手工设计的启发式和最先进的分割模型的优点，实现了对场景中瞬态干扰物的高度准确分割，有效提高了NeRF的渲染质量。论文详细介绍了方法背景、方法概述、实验结果等。

关键观点总结

关键观点1: 研究背景

新视角合成是计算机视觉和图形学的重要任务，NeRF在该任务上取得了重要突破，但其有效性与静态场景的假设有关。现实中，瞬态干扰物的存在会给NeRF的渲染结果带来伪影。

关键观点2: 现有方法

目前解决瞬态干扰物问题的方法可分为两类：基于分割模型的精确但不通用，以及基于启发式算法的通用但不准确。论文提出了一种结合两者优点的启发式引导分割（HuGS）方法。

关键观点3: HuGS方法

HuGS使用启发式算法大致区分静瞬态元素并输出粗糙提示，然后使用这些提示引导分割模型生成更精确的分割掩膜。具体实现中，选用了当前最先进的基于提示驱动的分割模型SAM。同时提出了两种启发式算法：基于Structure-from-Motion（SfM）的启发式和基于颜色残差的启发式，以获取静态掩膜。

关键观点4: 实验结果

实验结果表明，HuGS可以在面对不同纹理细节时稳健地识别各类静态元素，准确分离瞬态干扰物和静态场景元素。与现有方法相比，HuGS在消除伪影的同时更好地保留了静态细节。

文章预览

作者 | 机器之心  编辑 | 机器之心 点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 论文第一作者为中山大学计算机学院研二硕士生陈家豪，研究方向为神经渲染和三维重建，导师为李冠彬教授。该论文是他的第一个工作。 论文通讯作者为中山大学计算机学院、人机物智能融合实验室李冠彬教授，博士生导师，国家优秀青年基金获得者。 团队主要研究领域为视觉感知、场景建模、理解与生成。 迄今为止累计发表 CCF A 类 / 中科院一区论文 150 余篇， Google Scholar  引用超过 12000 次，曾获得吴文俊人工智能优秀青年奖等荣誉。 自被提出以来，神经辐射场（Neural Radiance Fields, NeRF）因其在新视角合成及三维重建中的出色表现而受到极大关注。 虽然大量工作都在尝试改进 NeRF 的渲染质量或运行速 ………………………………