挑战当前最难、规模最大多模态评测基准MME-RealWorld，QwenVL-2位列第一但并未及格

主要观点总结

本文主要介绍了MME-RealWorld基准测试，该测试旨在评估多模态大语言模型（MLLMs）在真实世界场景中的性能。文章提到了现有基准测试的不足，如数据规模、注释质量和任务难度，并因此提出了MME-RealWorld来解决这些问题。此外，还对一系列先进的MLLMs进行了评估，并提供了详细的分析。文章还讨论了MLLMs的缺陷和注意事项，包括图像细节感知、理解动态信息、计算效率和错误选项分析等方面。

关键观点总结

关键观点1: MME-RealWorld基准测试的特点和优势

作为迄今为止最大、分辨率最高的纯人工标注数据集，MME-RealWorld通过32名标注者的参与确保了高质量数据和最小的个人偏差。该测试旨在解决现有MLLM评估中的关键局限性，如数据规模、标注质量和任务难度。

关键观点2: MME-RealWorld相对于现有基准的主要优势

MME-RealWorld具有最大的数据规模，包含高分辨率的图像和丰富的图像细节；其数据质量高，所有标注均由专业团队手工完成，并进行交叉检查以确保数据质量；任务难度现实，许多现实世界的任务显著比传统基准测试中的任务更难。

关键观点3: 模型在MME-RealWorld基准测试中的表现

在感知任务方面，Qwen2-VL与InternVL-2表现出最强的感知能力，优于其他闭源模型。然而，各个任务的表现存在差异，闭源模型在某些任务中表现欠佳。在推理任务方面，Claude 3.5 Sonnet在大多数领域中表现最为出色。大多数开源模型表现不佳，传统基准方法的结果接近随机猜测。

关键观点4: MLLMs的缺陷和注意事项

MLLMs在图像细节感知、理解动态信息、计算效率和指令跟随能力等方面存在缺陷。文章还提到了不同MLLM在处理不确定问题时的应对策略，以及开源模型在指令执行能力方面的优化空间。

免责声明