游戏bug帮大模型学物理！准确率超GPT4o近4个百分点

文章预览

PhysVLM团队 投稿 量子位 | 公众号 QbitAI 融合物理知识的大型视频语言模型 PhysVLM ，开源了！ 它不仅在 PhysGame 基准上展现出最先进的性能，还在通用视频理解基准上 （Video-MME, VCG） 表现出领先的性能。 在这项研究之前，想让AI像人类儿童一样，通过观察世界理解基本的物理常识，是一个主要挑战。 对于现实世界的视频来说，全面覆盖和解释所有正常的物理现象既困难又不必要。 相比之下，游戏视频 （ gameplay videos） 通常包含违反物理常识的“故障现象” （gl itches ） ，这有助于简化物理常识理解的定义和评估，即专注于解释物理常识的违反现象，而不是试图列举所有存在的正常物理现象。 为此，PhysVLM在专门整理的一套数据集上训练，包括用于评估的PhysGame benchmark、用于监督微调的PhysInstruct数据集和用于偏好对齐的PhysDPO数据集。 PhysGame benchmark 设 ………………………………