rStar-Math：通过自我进化的深度思维 小型 LLM 掌握数学推理

主要观点总结

rStar-Math通过蒙特卡洛树搜索（MCTS）进行深度思考，引入三项创新来应对训练两个小型语言模型(SLM)的挑战，并通过四轮自我进化提高数学推理能力。它生成逐步验证的推理轨迹，使用代码增强的CoT生成和广泛的MCTS展开，训练新的过程奖励模型（PPM）。自我进化深度思考解决了具有挑战性的数学问题。这项工作引入了系统2式推理的关键突破，展示了有效的过程奖励模型对于系统2推理的重要性，并可能泛化到其他领域。

关键观点总结

关键观点1: rStar-Math使用蒙特卡洛树搜索（MCTS）进行深度思考，以解决数学推理问题。

通过MCTS分解复杂的数学问题为更简单的单步生成任务，并利用逐步生成来训练过程奖励模型（PPM）。

关键观点2: 引入三项创新应对训练小型语言模型(SLM)的挑战。

包括代码增强的CoT生成、广泛的MCTS展开和自注释方法获得步骤级Q值。

关键观点3: 通过四轮自我进化提高数学推理能力。

每轮使用MCTS生成逐步验证的推理轨迹，用于训练新策略SLM和PPM。经过四轮进化，大多数数学问题被成功解决。

关键观点4: 引入系统2式推理的关键突破。

在解决具有挑战性的数学问题时表现出自我反思能力，策略模型和PPM共同工作，促进深度思考。

关键观点5: 展示了有效的过程奖励模型对于系统2推理的重要性。

PPM在系统2深度推理中成为决定性能上限的关键因素，识别定理应用步骤并指导策略模型生成正确解决方案。

关键观点6: 可能泛化到其他领域。

rStar-Math不仅限于数学推理，可以应用于其他领域如代码和常识推理，需要一种机制来提供反馈以确定给定轨迹的正确性。