武大/中科院/悉尼科技大学/牛津大学/西交大共同提出 DriveMLLM : 自主驾驶中多模态大语言模型的空间理解基准 ！

主要观点总结

本文介绍了针对自动驾驶中的多模态大型语言模型（MLLMs）的空间理解能力的基准测试，即DriveMLM。文章首先概述了自动驾驶需要全面理解3D环境的重要性，并描述了MLLMs在解决这些任务中的潜力。接着，作者详细描述了构建DriveMLM基准测试的过程，包括数据源的选取、数据筛选、基准测试的设计以及评估指标的制定。实验结果显示，虽然一些MLLM模型在自动驾驶空间理解方面表现出色，但仍存在局限性。文章最后讨论了少样本学习的影响、模型大小与性能的关系、相对与绝对空间推理的差异以及模型的特定行为。本文为评估MLLM在自动驾驶场景中的空间理解能力提供了一个重要的基准测试。

关键观点总结

关键观点1: 研究背景

自动驾驶需要全面理解3D环境，MLLMs被视为解决这一问题的关键。但目前对MLLMs的空间理解能力的评估缺乏一个统一的基准测试。

关键观点2: 数据选取

作者从nuScenes数据集中选取数据，该数据集专为自动驾驶研究设计，包含丰富的传感器数据。

关键观点3: 数据筛选

通过多重筛选标准确保图像清晰度和目标的可识别性，用于空间推理评估。

关键观点4: 基准测试设计

设计了包括绝对和相对空间推理任务的基准测试，以评估MLLMs的空间理解能力。

关键观点5: 实验结果

虽然一些MLLM模型表现出色，但在某些任务上仍有局限性。效率得分（EffS）在不同模型之间存在显著差异。

关键观点6: 讨论与展望

讨论了少样本学习的影响、模型大小与性能的关系、相对与绝对空间推理的差异以及模型的特定行为。提出未来工作应探索先进的训练技术，并纳入特定领域的知识以增强MLLM的空间理解能力。

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 自动驾驶需要全面理解3D环境，以促进诸如运动预测、规划和映射等高级任务。 在本文中，作者介绍了DriveMLM，这是一个专门用于评估自动驾驶中多模态大型语言模型（MLMMs）空间理解能力的基准。DriveMLM包括2734个正面摄像头图像，并引入了绝对和相对空间推理任务，以及与语言多样性的自然语言问题相伴随。 为了衡量MLLMs的性能，作者提出了关注空间理解的全新评估指标。作者在DriveMLM上评估了几种最先进的MLLM，作者的结果揭示了当前模型在理解驾驶环境中复杂空间关系方面的局限性。 作者认为这些发现强调了需要更先进的基于MLLM的空间推理方法，并突显了DriveMLM推动自动驾驶领域进一步研究的潜力。 代码将在  https://github.com/XiandaGuo/D ………………………………