以玩促学？游戏代码驱动数据合成，提升多模态大模型通用推理

主要观点总结

本文介绍了复旦大学和字节跳动智能服务团队提出的利用游戏代码合成视觉推理数据的方法Code2Logic，并构建了基于此方法的多模态推理数据集GameQA。研究发现，利用游戏数据进行强化学习训练可以显著提升多模态大模型的泛化能力，并探讨了模型在视觉感知和文本推理方面的提升。同时，文章还揭示了游戏多样性和样本多样性的影响，以及VLMs推理能力的关键缺陷。

关键观点总结

关键观点1: 研究团队利用Code2Logic方法从游戏代码中提取推理模式，构建多模态推理数据集GameQA。

GameQA数据集具有大规模、多样性、可扩展和成本低的优点。

关键观点2: 研究发现在GameQA数据集上进行强化学习训练可以显著提升多模态大模型的泛化能力。

这种训练效果在域外游戏和通用视觉语言推理基准上都得到了验证。

关键观点3: 研究团队揭示了游戏多样性和样本多样性的影响，发现随着游戏种类增多和样本多样性增加，模型的泛化效果会增强。

这为利用GameQA数据集进行模型训练提供了新的思路。

关键观点4: 通过对模型错误的细致分析，研究团队发现了VLMs推理能力的关键缺陷，包括3D空间感知、识别模式与定位物体、多次看图和策略规划能力等方面的不足。

这为后续改进VLMs模型提供了重要的参考。