Hugging Face论文热榜第一！AI推理新方法，打破强化学习天花板，全面开源

主要观点总结

本文介绍了LUFFY强化学习方法，一种结合离线专家示范与在线强化学习的推理训练范式。LUFFY通过高质量专家示范制定离策略指引，引入混合策略优化与策略塑形机制，实现了在保持探索能力的同时高效吸收强者经验。在六项数学竞赛级基准测试中，LUFFY显著超越现有Zero-RL方法，并展现出优异的泛化能力。

关键观点总结

关键观点1: LUFFY强化学习方法的介绍

LUFFY是一种新的大模型推理强化学习范式，结合了离线专家示范与在线强化学习，旨在让模型既能借鉴高手经验，又能保持自身探索，兼顾两方面的优点。

关键观点2: LUFFY的核心理念

LUFFY的核心理念是在强化学习框架中引入外部优质推理轨迹，通过“策略塑形”机制，融合自身尝试（on-policy）与专家示范（off-policy）的优势。

关键观点3: LUFFY的实验结果

在六项竞赛级数学推理基准测试中，LUFFY取得了平均49.6%的准确率，显著超越现有Zero-RL方法，并展现出优异的泛化能力。

关键观点4: LUFFY的技术创新

LUFFY引入了混合策略GRPO训练、策略塑形等技术创新，实现了“边学边练”的有效融合，使模型能够在强化学习训练的每一步动态地决定何时该学习别人、何时该相信自己。