什么年代了还在用Nerf/Gaussian？视频扩散模型通向生成式新视点渲染

文章预览

©PaperWeekly 原创 · 作者 |  朱智宇 单位 |  香港城市大学博士 研究方向 |  计算机视觉 论文标题： NVS-Solver: Video Diffusion Model as Zero-Shot Novel View Synthesizer 论文链接： https://arxiv.org/abs/2405.15364 Github链接： https://github.com/ZHU-Zhiyu/NVS_Solver 研究目的与结果展示 通过利用预训练的大型视频扩散模型的强大生成能力，我们提出了 NVS-Solver，这是一种新的视角合成（NVS）范式，它在操作时无需训练。NVS-Solver 能够根据给定的视图自适应地调节扩散采样过程，从而从静态场景的单一或多个视图，或动态场景的单目视频中创造出令人瞩目的视觉体验。 具体而言，基于我们的理论建模，我们通过迭代调节得分函数，并用变形的输入视图表示给定场景先验，以控制视频扩散过程。此外，通过理论上探索估计误差的边界，我们根据视图姿态和扩散步骤的数量以自适应的方 ………………………………