大型视觉-语言模型对自动驾驶极端情况的自动评估

点击下方卡片，关注“自动驾驶专栏”公众号自动驾驶干货，即可获取论文链接：https://arxiv.org/pdf/2404.10595.pdf摘要本文介绍了大型视觉-语言模型对自动驾驶极端情况的自动评估。大型视觉-语言模型（LVLMs）由于其对图像和视频的卓越视觉推理能力，在自动驾驶领域中受到广泛关注，从而极大地推动了可解释的端到端自动驾驶的发展。然而，目前对LVLMs的评估主要着重于常见场景中的多方面能力上，缺乏自动驾驶背景下可量化且自动化的评估，更不用说即使是最先进的自动驾驶感知系统也难以处理的道路极端情况。本文提出了一种新的自动驾驶视觉-语言基准CODA-LM，它为可解释的自动驾驶提供了首个LVLMs的自动化且可量化的评估，包括通用感知、区域感知和驾驶建议。CODA-LM利用文本来描述道路图像，在没有图像输入的情况下，通过强大的纯文本大语 ………………………………