【CVPR2025】GEN3C：基于3D信息的世界一致性视频生成与精确相机控制

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 我们的结果表明，与现有工作相比，GEN3C实现了更精确的相机控制，并在稀疏视角新视图合成中取得了最先进的结果，即使在驾驶场景和单目动态视频等具有挑战性的设置中也是如此。 我们提出了 GEN3C ，一种具有精确相机控制和时间3D一致性的生成视频模型。现有的视频模型已经能够生成逼真的视频，但它们往往利用较少的3D信息，导致不一致性，例如物体突然出现或消失。即使实现了相机控制，也不精确，因为相机参数仅仅是神经网络的输入，网络必须推断视频如何依赖于相机。相比之下，GEN3C通过 3D缓存 进行引导：通过预测种子图像或先前生成帧的逐像素深度获得的点云。在生成下一帧时，GEN3C以用户提供的新相机轨迹对3D缓存的2D渲染进行条件生成。 至关重要的是，这意味着GEN3C既不需要记住它先前 ………………………………