闭环SOTA！BEVDriver：基于多模态BEV表征的自动驾驶决策新范式，暴力提升35%

文章预览

写在前面 & 笔者的个人理解 自动驾驶技术有望为未来出行效率奠定基础，但其研究领域需通过安全、可靠且透明的驾驶能力建立信任。大型语言模型（LLMs）凭借其推理能力和自然语言理解潜力，可作为通用决策者进行自车运动规划，并与人类交互及适应为人设计的驾驶环境。尽管这一方向前景广阔，当前自动驾驶方法在结合3D空间表征与LLMs的推理及语言能力方面仍面临挑战。本文提出BEVDriver，一种基于LLM的端到端闭环驾驶模型，在CARLA模拟器中利用潜在BEV（鸟瞰图）特征作为感知输入。 BEVDriver通过BEV编码器高效处理多视角图像与3D LiDAR点云数据。在共享的潜在空间中，BEV特征通过Q-Former与自然语言指令对齐，并传递至LLM以预测精确的未来轨迹，同时考虑导航指令与关键场景。在LangAuto基准测试中，我们的模型在驾驶得分（Driving Score）上较最先进 ………………………………