斯坦福揭秘o1-preview软肋！数学竞赛题稍作修改，准确率骤降30%

主要观点总结

斯坦福大学最近研究发现，对数学竞赛题目稍作修改就能大幅降低大模型「尖子生」o1-preview的准确率。OpenAI的o1-preview模型在数学、编程等领域表现出强大的推理能力，但在面对普特南数学竞赛题的变体时却表现出不适应。研究团队设计了Putnam-AXIOM基准来评估AI大模型的数学能力，发现即使是顶尖的AI模型在面对数学问题灵活变化时的适应性也较差。

关键观点总结

关键观点1: o1-preview模型在面对普特南数学竞赛题稍作修改后的准确率大幅下降。

对题目中的变量、常量等要素稍作修改，o1-preview模型的准确率就立即大幅下降，降幅高达30%。这反映出当前顶尖AI模型在面对数学问题灵活变化时的适应性较差。

关键观点2: Putnam-AXIOM基准用于评估AI大模型的数学能力。

研究团队设计了Putnam-AXIOM基准来评估AI大模型的数学能力，这个基准包括普特南数学竞赛的原题和通过程序化修改生成的变体题，能够精准探测AI的数学推理能力。

关键观点3: 顶级AI模型在变体题上的表现不升反降。

在Putnam-AXIOM基准测试中，除了o1-preview模型外，其他模型的准确率也出现了显著滑坡。这反映出当前AI模型在面对超出熟悉套路的数学问题时，其适应性有待提高。