合成数据也能通吃真实世界？首个融合重建-预测-规划的生成式世界模型AETHER开源

主要观点总结

上海人工智能实验室新开源了生成式世界模型AEETHER，该模型全部由合成数据训练而成。它在传统重建与生成任务中表现领先，并赋予了大模型在真实世界中的3D空间决策与规划能力。AEETHER能助力机器人完成目标导向的视觉规划、4D动态重建、动作条件的视频预测等复杂任务。

关键观点总结

关键观点1: 模型特点与创新

AEETHER模型由合成数据训练，具有在真实世界中的3D空间决策与规划能力。它解决了传统世界模型在RGB图像预测上忽略几何信息的问题，通过引入空间建模大幅度提升了各项指标。

关键观点2: 核心技术突破

研究团队首创了“重建—预测—规划”一体化框架，使大模型能够感知周围环境，理解物体间的位置、运动和因果关系，从而做出更智能的行动决策。这项突破通过三项关键技术实现，包括目标导向视觉规划、4D动态重建和动作条件视频预测。

关键观点3: 模型的应用与优势

AEETHER模型的应用领域包括自动驾驶、游戏开发等。其强大的零样本泛化能力，使得即使在真实环境中也能展现出高效的决策能力。此外，该模型能够同时完成四维时空的重建与预测，并支持由动作控制驱动的场景推演与路径规划。