RL真让大模型更会推理？清华新研究：其能力边界或仍被基座「锁死」

主要观点总结

本文介绍了清华大学和上海交通大学的一项最新研究，该研究探讨了强化学习（RL）在大模型中是否真的能够带来超越基础模型的新推理能力。通过数学、代码和视觉推理等三大领域的系统性实验，研究团队发现当前的RLVR方法并未突破基础模型的能力上限，强化学习只是让模型更偏向高奖励解决方案，而非创造新的推理能力。

关键观点总结

关键观点1: 研究背景

近年来，RLVR训练大模型在数学、代码等各项任务中表现惊艳，强化学习被视为重要的推手。然而，关于强化学习是否真的能让大模型获得超越基础模型的新推理能力，存在争议。

关键观点2: 研究内容

清华大学LeapLab团队联合上海交通大学开展实证研究，通过数学、代码、视觉推理三大领域的系统性实验，揭示了一个重要现象：当前的RLVR方法并未突破基础模型的能力上限。

关键观点3: 核心发现

RLVR训练模型在某些任务中的表现不如未使用强化学习的基座模型。RLVR只是将采样做得更有效率，但其输出的正确答案早已藏在基座模型的“基因”里。强化学习提高了采样效率，但缩小了推理能力边界。

关键观点4: 研究方法

研究团队使用了pass@k指标来揭示模型的“能力边界”，并通过多个数学基准测试来对比基础模型和经过强化学习训练的对应模型的表现。

关键观点5: 研究意义

该研究为当前火热的RL训练热潮提供了冷思考，提示我们重新思考强化学习在大模型能力提升中的角色，以及如何在知识表征、认知结构和推理脉络等方面进行创新。

免责声明