斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

主要观点总结

文章介绍了斯坦福大学最新的研究，即在大模型数学推理能力评估方面存在的问题。研究发现，仅仅是更改题目的变量名称和取值范围，模型的准确率就会大幅下降，这表明大模型的数学推理能力并非真正掌握了解题逻辑，而是可能依赖于已存储的题目进行检索。文章还提到了现有的评估基准所面临的问题，包括数据污染和模型水平虚高的问题。为此，斯坦福研究团队提出了Putnam-AXIOM基准来专门评估模型在解决复杂数学问题上的能力。该基准包括原始数据集和变异数据集，并使用自动化评估方法。然而，实验结果并不乐观，多数模型在Putnam-AXIOM数据集上的表现不佳，准确率普遍下降。

关键观点总结

关键观点1: 大模型的数学推理能力可能只是基于检索已存储的题目，而非真正掌握解题逻辑。

更改题目的变量名称和取值范围会导致模型准确率大幅下降。

关键观点2: 现有评估基准存在问题，如数据污染和模型水平虚高。

这些问题使得评估价值降低，需要新的评估方法来衡量模型的真正能力。

关键观点3: 斯坦福大学提出的Putnam-AXIOM基准用于评估模型在解决复杂数学问题上的能力。

该基准包括原始数据集、变异数据集和自动化评估方法，旨在解决现有评估基准的问题。

关键观点4: 多数模型在Putnam-AXIOM数据集上的表现不佳。

这说明大模型的数学能力仍需提升，且提升难度较大。