端到端自动驾驶：挑战与前沿

文章预览

公开课预告 10月22日上午10点，NVIDIA Research 自动驾驶方向研究科学家李柏依，将以《探索基于多模态 LLM 的自动驾驶智能体》为主题进行直播讲解。 👀 摘要 自动驾驶社区见证了采用端到端算法框架的方法的快速增长，利用原始传感器输入来生成车辆运动计划，而不是专注于检测和运动预测等单个任务。与模块化管道相比，端到端系统受益于感知和规划的联合特征优化。由于大规模数据集的可用性、闭环评估以及对自动驾驶算法在具有挑战性的场景中有效执行的日益增长的需求，该领域蓬勃发展。在本次调查中，我们对 270 多篇论文进行了全面分析，涵盖了端到端自动驾驶的动机、路线图、方法、挑战和未来趋势。我们深入研究了几个关键挑战，包括多模态性、可解释性、因果混淆、稳健性和世界模型等。此外，我们还讨论了基础模型和视觉预训练 ………………………………