武大/中科院/悉尼科技大学/牛津大学/西交大共同提出 DriveMLLM : 自主驾驶中多模态大语言...

主要观点总结

本文介绍了针对自动驾驶中的多模态大型语言模型（MLLMs）的空间理解能力的基准测试，即DriveMLM。文章首先概述了自动驾驶需要全面理解3D环境的重要性，并描述了MLLMs在解决这些任务中的潜力。接着，作者详细描述了构建DriveMLM基准测试的过程，包括数据源的选取、数据筛选、基准测试的设计以及评估指标的制定。实验结果显示，虽然一些MLLM模型在自动驾驶空间理解方面表现出色，但仍存在局限性。文章最后讨论了少样本学习的影响、模型大小与性能的关系、相对与绝对空间推理的差异以及模型的特定行为。本文为评估MLLM在自动驾驶场景中的空间理解能力提供了一个重要的基准测试。

关键观点总结

关键观点1: 研究背景

自动驾驶需要全面理解3D环境，MLLMs被视为解决这一问题的关键。但目前对MLLMs的空间理解能力的评估缺乏一个统一的基准测试。

关键观点2: 数据选取

作者从nuScenes数据集中选取数据，该数据集专为自动驾驶研究设计，包含丰富的传感器数据。

关键观点3: 数据筛选

通过多重筛选标准确保图像清晰度和目标的可识别性，用于空间推理评估。

关键观点4: 基准测试设计

设计了包括绝对和相对空间推理任务的基准测试，以评估MLLMs的空间理解能力。

关键观点5: 实验结果

虽然一些MLLM模型表现出色，但在某些任务上仍有局限性。效率得分（EffS）在不同模型之间存在显著差异。

关键观点6: 讨论与展望

讨论了少样本学习的影响、模型大小与性能的关系、相对与绝对空间推理的差异以及模型的特定行为。提出未来工作应探索先进的训练技术，并纳入特定领域的知识以增强MLLM的空间理解能力。