【华中科技大学和地平线】Senna：桥接大型视觉语言模型和端到端自动驾驶

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2410.22313 代码和模型链接：https://github.com/hustvl/Senna 摘要 本文介绍了Senna：桥接大型视觉语言模型和端到端自动驾驶。端到端自动驾驶通过大规模数据展现出强大的规划能力，但是由于常识有限，在复杂、罕见的场景中仍然面临困境。相比之下，大型视觉语言模型（LVLMs）在场景理解和推理方面均表现出色。前进的道路在于融合这两种方法的优势。先前使用LVLMs预测轨迹或者控制信息的方法会产生次优的结果，因为LVLMs不太适合于精确的数值预测。本文提出了Senna，这是一种将LVLM（Senna-VLM）与端到端模型（Senna-E2E）相结合的自动驾驶系统。Senna将高级规划与低级轨迹预测解耦。Senna-VLM以自然语言生成规划决策，而Senna-E2E则预测精确的轨迹。 Senna-VLM利 ………………………………