推理大模型1年内就会撞墙，性能无法再扩展几个数量级 | FrontierMath团队最新研究

主要观点总结

文章主要讨论了推理模型的训练所需的算力问题。文章提到，随着推理模型的发展，其所需的算力也在快速增长，但增速可能会逐渐放缓，甚至在未来一年内可能会达到瓶颈。文章还讨论了推理模型的其他挑战，如数据不足和领域泛化问题。

关键观点总结

关键观点1: 推理模型的训练所需的算力增长迅速，但增速可能逐渐放缓。

文章提到，如果推理模型保持每3-5个月以10倍速度增长，那么推理训练所需的算力可能会大幅收敛。但这种增长可能不会持续，未来一年内可能会达到瓶颈。

关键观点2: 推理模型的训练面临其他挑战。

文章指出，除了算力问题，数据不足和领域泛化也是推理模型面临的挑战。此外，还不清楚推理训练是否能泛化到规律性没那么强的领域。

关键观点3: 推理模型的发展潜力巨大。

文章认为，尽管面临一些挑战，但推理模型的发展潜力巨大。随着推理模型的训练越来越成熟，所有推理模型所需的成本可能趋同。

文章预览

衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 一年之内，大模型推理训练可能就会撞墙。 以上结论来自Epoch AI。 这是一个专注于人工智能研究和基准测试的非营利组织，之前名动一时的FrontierMath基准测试 （评估AI模型数学推理能力） 就出自它家。 与之伴随而来的还有另一个消息： 如果推理模型保持「每3-5个月都以10倍速度增长」，那么推理训练所需的算力可能会大幅收敛。 就像DeepSeek-R1之于OpenAI o1-preview那样。 看了这个结果，有围观网友都着急了： 既然在o3基础上再scaling非常困难，那 为啥咱不探索模块化架构或针对特定任务的专用模型呢？ “效率”比“研究过剩”更重要！ 推理训练还有scalable的空间 OpenAI的o1是推理模型的开山之作。 和o3、DeepSeek-R1等一样，它们从传统的大语言模型发展而来，在预训练阶段使用了大量人类数据进行训练，然后在强化 ………………………………