智源研究院发布千万级多模态指令数据集Infinity-MM：驱动开源模型迈向SOTA性能

主要观点总结

本文主要介绍了智源研究院发布并开源的千万级多模态指令数据集Infinity-MM，以及基于该数据集训练的Aquila-VL-2B模型。该数据集通过高质量和高多样性的数据收集与合成方法，为提升开源模型性能提供了大量数据。Aquila-VL-2B模型在同规模模型中取得了最先进的性能。文章还介绍了模型训练效率提升、InfinityMM构建流程、合成数据方法以及实验结果等关键点。

关键观点总结

关键观点1: 智源研究院开源了千万级多模态指令数据集Infinity-MM，包含数千万个样本，数据量达10TB。

Infinity-MM数据集通过质量过滤和去重，确保了数据的高质量和多样性。

关键观点2: 智源提出了一种基于开源模型和标签体系的合成数据生成方法，能够生成高质量的指令数据并有效地扩大指令数据集的规模。

这种方法确保了生成的指令与图片内容的匹配性、指令之间的多样性以及生成指令回答的准确性。

关键观点3: 基于Infinity-MM数据集，成功训练了一个20亿参数的多模态模型Aquila-VL-2B，在同规模模型中取得SOTA性能。

Aquila-VL-2B模型在多个评估指标上表现突出，尤其在视觉感知和数学推理等多模态任务上具有强大的处理能力。

关键观点4: 文章介绍了模型训练效率提升、数据集构建流程、合成数据方法的详细步骤以及实验结果等内容。

包括模型训练的设置、合成数据任务类型占比、消融实验、数据规模扩展实验、视频处理评测结果等。