港中文最新！ReAL-AD：迈向类人推理的端到端自动驾驶，轨迹性能提升30%（ICCV'25）

主要观点总结

本文提出了ReAL-AD，一种推理增强学习框架，旨在通过利用视觉-语言模型（VLMs）在策略、决策和操作层面上的结构化推理，增强端到端自动驾驶系统的性能。该框架通过模拟类人的层次化决策过程，结合战略决策、战术命令和轨迹优化，提高了自动驾驶系统的规划准确性和安全性。

关键观点总结

关键观点1: 引入ReAL-AD框架

提出了一种新型的推理增强学习框架，用于自动驾驶，该框架利用视觉-语言模型（VLMs）的能力，将类人的分层决策嵌入到端到端自动驾驶系统中。

关键观点2: 框架的组成部分

包括策略推理注入器、驾驶推理整合器和层次化轨迹解码器，这些组件用于在自动驾驶系统中逐步细化从战略推理到驾驶执行的决策过程，从而提高适应性、可解释性和整体性能。

关键观点3: 实验验证

在NuScenes和Bench2Drive数据集上进行了广泛的实验，结果表明，与基线方法相比，该框架在轨迹规划准确性和驾驶安全性方面实现了超过30%的提升。消融研究进一步验证了框架的有效性。该框架还为未来的工作提供了方向，如进一步提高轨迹预测的准确性、增强系统的泛化能力等。