顿悟不是玄学！港科大清华等联手：撕开推理黑箱，RL让AI像人思考

主要观点总结

本文阐述了香港科技大学、滑铁卢大学、清华大学等机构的研究者关于强化学习在大模型中提升推理能力的内在机制的研究。研究首次揭示了大模型以类人的方式学会推理的机制，通过将高层策略规划与底层程序执行相分离，强化学习能够提升大模型的推理能力。文章还介绍了研究者提出的分层感知信用分配算法（HICRA）和新算法的实验结果，该算法能将模型的学习能力聚焦于稀疏但高价值的规划token上，从而加速有效推理模式的发现与强化进程。

关键观点总结

关键观点1: 强化学习在大模型中的关键作用

强化学习（RL）能提升大语言模型（LLM）的推理能力，研究者揭示了其内在机制，包括大模型与强化学习环境的交互、自然涌现出反思和重新评估等行为。

关键观点2: 大模型的推理层次结构

研究突破了以往的认识，揭示了大模型的推理过程呈现出类人的层次化推理结构，类似于人类认知中高层次策略规划与低层次程序执行的分隔。

关键观点3: 两阶段学习动态和层次化推理

研究者通过实验观察到，大模型在强化学习中遵循两阶段学习动态，第一阶段巩固基础执行能力，第二阶段自主发展策略规划能力。同时，通过区分执行token和规划token，验证了层次化推理的出现与推理能力提升直接相关。

关键观点4: HICRA算法提出与实验验证

基于层次化推理的发现，研究者提出了分层感知信用分配机制（HICRA），该算法重点强化规划token的学习权重，以加速模型探索和巩固策略的能力。实验表明，HICRA在多个基准测试中超越了主流的GRPO方法。

关键观点5: 强化学习的有效性及语义熵的重要性

研究揭示了强化学习在修正高层策略失误方面的优势，并指出语义熵是衡量策略探索的有效指标。同时，探讨了现有指标的缺陷，强调了语义熵在追踪策略探索方面的可靠性。