业内首次! 全面复现DeepSeek-R1-Zero数学代码能力，训练步数仅需其1/10

主要观点总结

机器之心编辑部发布文章指出，大规模强化学习通过激发大型语言模型的复杂推理行为已成为一种有效方法。针对机器推理模型的核心训练方法，来自快手Kwaipilot团队的研究者提出了一种创新的强化学习框架——两阶段历史重采样策略优化（SRPO）。该团队发布的技术报告详细披露了训练方法的技术细节，并开源了SRPO-Qwen-32B模型。论文详细描述了SRPO方法在解决数学和代码问题方面的优势，包括解决GRPO算法遇到的挑战和训练过程中的策略调整。实验结果显示，SRPO在AIME24和LiveCodeBench基准测试中表现优异，超越DeepSeek-R1-Zero的性能，仅需要其十分之一的训练步数。文章还介绍了SRPO的组成模块及训练方法，包括两阶段训练、历史重采样策略等。

关键观点总结

关键观点1: 大规模强化学习已成为激发大型语言模型复杂推理行为的有效方法。

强化学习已成为训练大型语言模型的一种趋势，能够帮助模型解决复杂的推理问题。

关键观点2: 快手Kwaipilot团队提出了创新的强化学习框架——两阶段历史重采样策略优化（SRPO）。

SRPO框架旨在解决强化学习在跨领域泛化方面的挑战，通过两阶段训练和历史重采样策略优化模型的性能。

关键观点3: SRPO-Qwen-32B模型公开技术报告并开源。

该模型是首个同时在数学和代码领域复现DeepSeek-R1-Zero性能的方法，具有广泛的应用前景。

关键观点4: SRPO方法在AIME24和LiveCodeBench基准测试中表现优异。

实验结果显示SRPO超越了DeepSeek-R1-Zero的性能，仅需要其十分之一的训练步数。

关键观点5: SRPO包括两阶段训练、历史重采样策略等关键训练策略。

这些策略有助于解决数学和代码问题的训练难题，提高模型的性能和泛化能力。

免责声明