迈向『闭环』| PlanAgent：基于MLLM的自动驾驶闭环规划新SOTA！

文章预览

今天自动驾驶之心为大家分享 中科院自动化所 & 理想汽车最新的工作—PlanAgent ，文章提出一种全新基于多模态大语言模型MLLM的自动驾驶闭环规划框架，问鼎nuPlan SOTA！ 如果您有相关工作需要分享，请在文末联系我们！ 论文作者  | Yupeng Zheng等 编辑 | 自动驾驶之心 中科院自动化所深度强化学习团队联合理想汽车等提出了一种新的基于多模态大语言模型 MLLM 的自动驾驶闭环规划框架— PlanAgent 。该方法以场景的鸟瞰图和基于图的文本提示为输入，利用多模态大语言模型的多模态理解和常识推理能力，进行从场景理解到横向和纵向运动指令生成的层次化推理，并进一步产生规划器所需的指令。在大规模且具有挑战性的 nuPlan 基准上对该方法进行了测试，实验表明 PlanAgent 在常规场景和长尾场景上都取得了最好 (SOTA) 性能。与常规大语言模型 (LLM) 方法相 ………………………………