ICCV 2025 | ECD：高质量合成图表数据集，提升开源MLLM图表理解能力

主要观点总结

本文介绍了来自澳大利亚国立大学等合作团队提出的有效图表数据集（ECD）的合成方法和配套的高质量标准ECDBench。ECD数据集旨在解决多模态大语言模型（MLLMs）在理解科学图表方面的难题，通过模块化数据合成流水线生成规模大、质量高、风格多样的合成图表数据集。文章还介绍了ECD数据集的三大核心优势以及详细的流水线方法，并通过实验验证了ECD训练集在提升MLLM性能方面的有效性。数据集可用于多模态推理、科学AI助手和图表自动化生成等领域。

关键观点总结

关键观点1: 研究背景与动机

科学研究、新闻报道和数据分析等领域中，图表是核心的信息传递载体。多模态大语言模型（MLLMs）需要精准识别与理解图表元素，并进行深度推理，但现有技术在这一领域的准确率仍有待提高。

关键观点2: ECD数据集的特点

ECD数据集包含10,000+图表，覆盖广泛学科主题和图表类型。具有高质量问答对，包含描述类和推理类问题，由GPT-4o自动生成并通过筛选得到。数据真实性强，与真实科学图表相似度高。

关键观点3: 模块化数据合成流水线

为实现高质量且多样化的合成图表数据集ECD，设计了五阶段模块化的数据合成流水线，包括单图生成、多子图组合、视觉多样化、图像质量过滤和问答对生成与过滤等步骤。

关键观点4: 实验验证

实验证明，通过ECD训练集微调后，可以一致提升4个开源MLLM的性能表现。在ECDBench基准测试集上的评估也验证了ECD数据集的有效性。