【Nuro】SafeAuto：使用多模态基础模型实现知识增强的安全自动驾驶

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2503.00211 摘要 本文介绍了SafeAuto：使用多模态基础模型实现知识增强的安全自动驾驶。传统的自动驾驶系统往往难以将高级推理与低级控制相结合，导致次优甚至有时不安全的驾驶行为。多模态大型语言模型（MLLMs）的出现可以处理视觉和文本数据，为在单个框架内统一感知和推理任务提供了机遇。然而，将准确的安全知识有效地嵌入自动驾驶的MLLMs中仍然是一项重大挑战。为了解决这个问题，本文提出了SafeAuto，这是一种通过结合非结构化和结构化知识来增强基于MLLM的自动驾驶系统的新框架。具体而言，本文首先引入了位置相关交叉熵（PDCE）损失函数，旨在将数值表示为文本时提高低级控制信号预测的准确性。其次，为了通过显式地将准确的安 ………………………………