小红书&上交多模态大模型新基准，Gemini 1.5 Pro准确率仅48%

主要观点总结

WorldSense团队提出了一种新的基准测试WorldSense，用于评估多模态大模型（MLLMs）在真实场景中的理解能力。该测试旨在填补现有评估体系的空白，具有全模态协同、视频与任务多样性和高质量标注等特点。研究团队基于WorldSense对各种先进的MLLMs进行了广泛评估，发现现有模型在理解真实世界场景方面还存在巨大挑战。

关键观点总结

关键观点1: WorldSense的提出

为了评估多模态大模型在真实场景中的理解能力，WorldSense团队提出了一种新的基准测试WorldSense。

关键观点2: WorldSense的特点

WorldSense具备全模态协同、视频与任务多样性和高质量标注等三大特点，为评估多模态大模型提供了新的方向。

关键观点3: 现有模型的挑战

研究团队基于WorldSense对各种先进的MLLMs进行了广泛评估，发现现有模型在理解真实世界场景方面还存在巨大挑战，特别是在音频相关任务和情感相关任务等方面。

关键观点4: 视觉信息、音频信息的影响

研究探究了视觉信息和音频信息对模型性能的影响，发现视觉信息和音频信息通常能提高模型性能，但不同模型在利用这些信息方面的能力存在差异。

关键观点5: 视频帧采样密度的研究

研究还探究了视频帧的时间采样密度对模型性能的影响，发现增加帧密度通常能提升模型的性能，但也有例外。