新国立&微软重磅开源！GenXD：生成一切3D和4D场景！

主要观点总结

本文主要介绍了一篇关于3D和4D内容生成的论文，论文标题为《GenXD: Generating Any 3D and 4D Scenes》。该论文提出了一个大规模真实世界4D场景数据集CamVid-30K，并引入了一个统一框架GenXD来处理一般的3D和4D生成。文章还介绍了论文的主要贡献、方法、实验结果以及总结。

关键观点总结

关键观点1: 论文背景及目标

随着二维视觉技术的成功，三维内容生成变得越来越重要。然而，由于三维建模的复杂性和数据的局限性，三维内容生成仍面临挑战。本文专注于三维和四维内容的统一生成，旨在解决缺乏大规模四维数据和有效模型设计的问题。

关键观点2: 数据集介绍

为了解决大规模四维场景数据缺乏的问题，论文提出了一个高质量的四维数据集CamVid-30K。该数据集通过标注视频中的相机和对象运动来恢复结构。

关键观点3: GenXD框架介绍

论文提出了一个统一框架GenXD，用于处理一般的三维和四维生成。该框架支持在单个模型中通过单个和多个输入视图进行三维和四维生成。

关键观点4: 方法介绍

为了分离和融合多视角和时间信息，论文引入了多视角-时间模块。此外，为了支持任意数量的输入视图作为条件，论文实现了掩码的潜在条件。

关键观点5: 实验结果

实验结果表明，GenXD在单视角三维对象生成、少视角三维场景重建、单视角四维生成以及单/多视角四维生成方面实现了与先前最先进方法和基线方法相当或更优的性能。

关键观点6: 总结与贡献

论文总结了研究的主要贡献，包括设计数据整理流程获取高质量四维数据、提出三维-四维联合框架GenXD以及处理各种设置下的图像条件生成等。