主要观点总结
这篇文章主要报道了关于顶尖AI模型在物理题解答方面的表现。研究发现，即使是最强的AI模型，如GPT-4o、Claude 3.7 Sonnet等，在物理题解答方面依然存在明显的缺陷，准确率低，与人类专家相比存在巨大差距。文章详细分析了AI模型在物理题解答方面的三大关键局限，包括过度依赖记忆性学科知识、过度依赖数学公式、停留在表层视觉模式匹配而非真正的物理理解。同时，文章还介绍了PHYX基准测试，该测试旨在评估模型在视觉场景中物理推理能力，并详细阐述了数据整理过程和主要结果。
关键观点总结
关键观点1: AI模型在物理题解答方面的表现
顶尖AI模型如GPT-4o等在物理题解答方面存在明显缺陷，准确率低。即使在解决奥数问题方面表现出色的模型，在物理题解答方面依然翻车。这表明当前AI模型在真正的物理推理方面还存在巨大差距。
关键观点2: AI模型在物理推理方面的局限
当前AI模型在物理推理方面存在三大关键局限：过度依赖记忆性学科知识、过度依赖数学公式、停留在表层视觉模式匹配而非真正的物理理解。这导致它们在解决物理问题时，无法像人类一样真正理解和推理物理世界。
关键观点3: PHYX基准测试的介绍
PHYX是一个旨在评估模型在视觉场景中物理推理能力的基准测试。该测试包含了来自不同物理领域的问题，全面检验模型的理解和推理能力。研究表明，PHYX对当前模型来说是一个不小的挑战，即便是表现最差的人类专家也能达到75.6%的准确率，远超团队分析的所有模型。
文章预览
新智元报道 编辑：Aeneas 犀牛 【新智元导读】 最顶尖 的AI模型，做起奥数题来已经和人类相当，那做物理题水平如何呢？港大等机构的研究发现：即使GPT-4o、Claude 3.7 Sonnet这样的最强模型，做物理题也翻车了，准确率直接被人类专家碾压！ 大模型，真的懂物理推理吗？ 就在刚刚，港大、密歇根大学、多伦多大学等机构的研究者用3000道物理题，给全球顶尖大模型来了一场大拷问。 结果，这些顶尖AI，毫无例外全部翻车了！ 论文地址：https://arxiv.org/pdf/2505.15929 比如，GPT-4o、Claude3.7-Sonnet和GPT-o4-mini的准确率分别仅为32.5%、42.2%和 45.8%。这个准确率，直接被人类专家吊打，性能差距超过了29%。 最终，研究者们得出结论：当前的AI模型过度依赖记忆的学科知识、过度依赖数学公式、过度依赖肤浅的视觉模式匹配，绝非做到了真正的物理理解。 能做奥
………………………………
