腾讯AI Lab首创RL框架Parallel-R1，教大模型学会「并行思维」

主要观点总结

本文介绍了研究团队如何通过强化学习框架Parallel-R1教会大模型进行并行思维的任务。该框架通过渐进式课程和交替式奖励设计解决了强化学习训练中的冷启动和奖励设计难题。实验表明，Parallel-R1在多个数学基准测试中实现了平均准确率提升，并通过中程训练脚手架策略在AIME25测试上实现了显著性能提升。文章还深入分析了模型在学习过程中的动态变化，并发现并行思维本身可以作为一种临时结构化探索脚手架来帮助模型解锁更高性能。

关键观点总结

关键观点1: 研究背景

现有方法通过监督微调（SFT）使大模型模仿预先构造的并行思维数据，但这种方式存在泛化能力弱、对数据要求高等问题。因此，研究团队提出了Parallel-R1框架。

关键观点2: Parallel-R1框架的特点

Parallel-R1是首个通过强化学习在通用数学推理任务上教会大模型进行并行思维的框架。它通过渐进式课程和交替式奖励设计解决了冷启动和奖励设计难题。

关键观点3: 强化学习的挑战与解决方案

强化学习面临冷启动和奖励设计两大核心挑战。研究团队通过渐进式课程解决冷启动问题，通过交替式奖励策略在准确性和多样性之间取得平衡。

关键观点4: 实验与结果

实验表明，Parallel-R1在多个数学基准测试中实现了平均准确率提升。此外，研究还发现并行思维本身可以作为一种临时结构化探索脚手架，帮助模型解锁更高性能。

关键观点5: 模型学习过程的动态变化

研究团队深入分析了模型在学习过程中的动态变化，发现模型的并行思维策略随着训练的深入从探索演变为验证。