让Qwen2.5 7B超越o1，微软干的！MSRA推出小模型数学推理自我进化新方法

主要观点总结

微软在最新的创新算法rStar-Math的助力下，使得小模型的数学推理能力超过了一些大模型。通过代码增强CoT、蒙特卡洛树搜索等，rStar-Math能够在不依赖蒸馏教师模型的情况下，通过多轮自我进化的深度思维掌握数学推理。在多个基准测试中，rStar-Math的表现超越了OpenAI o1-preview和其他开源大模型。本文介绍了rStar-Math的关键技术细节和实验评估结果。

关键观点总结

关键观点1: rStar-Math通过创新算法提升了小模型的数学推理能力。

微软最新的rStar-Math算法通过蒙特卡洛树搜索、过程奖励模型训练方法等技术，使得小模型在数学推理方面展现出强大的能力。该算法在多个基准测试中超越了其他大模型和开源模型。

关键观点2: rStar-Math的技术细节。

rStar-Math采用了代码增强CoT数据合成方法、过程奖励模型训练方法以及四轮自我思维深度进化等技术。通过广泛的MCTS部署，生成具有自我注释的MCTS Q值的逐步验证推理轨迹。同时，利用PPM（过程偏好模型）为数学推理步骤提供细粒度的反馈。

关键观点3: rStar-Math的实验评估结果。

实验结果表明，rStar-Math显著提高了SLM的数学推理能力，在多个基准测试中实现了与OpenAI o1相当甚至超越的性能。与最先进的推理模型相比，rStar-Math表现出强大的通用性和优越性。