2D图像作中介，零训练实现3D场景生成SOTA：英伟达&康奈尔提出文本驱动新流程

主要观点总结

本文介绍了康奈尔大学博士生顾泽琪在英伟达实习期间完成的工作，其团队提出了一种全新的解决方案ArtiScene，无需训练就能自动生成高质量的3D场景。该解决方案基于文本生成图像的技术，通过将文本转化为高质量场景图，再从中提取3D信息。ArtiScene包含五步：生成等轴测视角的场景图、物体检测与修复、3D空间定位、模块化3D资产生成和场景组装。其核心贡献在于构建了一个完全无需额外训练的自动化流水线，将文本生成图像的前沿能力与3D重建技术巧妙结合，具有零训练成本、风格无限和可编辑性强的显著优势。

关键观点总结

关键观点1: 顾泽琪与其团队提出一种名为ArtiScene的解决方案，无需训练就能自动生成高质量的3D场景。

ArtiScene基于文本生成图像的技术，通过将文本转化为高质量场景图，再从中提取3D信息。

关键观点2: ArtiScene包含五步流程：生成等轴测视角的场景图、物体检测与修复、3D空间定位、模块化3D资产生成和场景组装。

这五步流程结合文本生成图像的前沿能力与3D重建技术，具有显著的优势。

关键观点3: ArtiScene具有零训练成本、风格无限和可编辑性强的特点。

该系统完全利用现成模型，无需针对新场景类型微调，每个物体都按需生成，不受预制模型库的限制，同时支持单独修改某个物体而不影响整体场景。

关键观点4: ArtiScene在布局合理性、风格一致性和应用灵活性等方面超越了现有方案。

团队在三个维度进行了系统评估，包括布局合理性测试、风格一致性测试和应用灵活性展示。

关键观点5: 作者希望他们的工作可以启发未来更多关于具身智能、AR/VR、室内/室外设计的思考。

对于复杂的多房间场景或特定要求，ArtiScene可通过调整参数支持户外场景生成，并允许直接输入手绘设计图替代AI生成场景图。