【AI】LLM强化学习不稳定之谜，被Qwen团队从「一阶近似」视角解开

主要观点总结

本文介绍了阿里千问团队提出的一种针对大语言模型（LLM）的强化学习（RL）公式化方法，该方法基于序列级奖励和 token 级优化目标，探讨了训练过程中的稳定性问题，并展示了在 MoE 模型中的应用。团队通过大量实验验证，提出了一种全新的 RL 公式化方法，并展示了其在不同条件下的有效性。实验结果表明，在 on-policy 训练中，带重要性采样校正的基本策略梯度方法能够实现最高训练稳定性；在引入 off-policy 更新时，需同时使用 Clipping 与 Routing Replay 来缓解策略陈旧；不同冷启动方式的模型最终性能趋于一致。此外，论文还探讨了 MoE 模型的挑战及 Routing Replay 方法，并展示了实验结果。

关键观点总结

关键观点1: 强化学习（RL）公式化方法

团队提出了一种针对大语言模型的强化学习公式化方法，基于序列级奖励和 token 级优化目标，解决了训练过程中的稳定性问题。

关键观点2: 稳定性问题

在序列级奖励与 token 级优化目标的设置下，探讨了训练过程中的稳定性问题，并展示了在 MoE 模型中的应用。

关键观点3: 实验验证

团队通过大量实验验证了这种新的 RL 公式化方法，并展示了其有效性。

关键观点4: on-policy 与 off-policy 训练

在 on-policy 训练中，带重要性采样校正的基本策略梯度方法能够实现最高训练稳定性；在引入 off-policy 更新时，需同时使用 Clipping 与 Routing Replay。

关键观点5: 冷启动细节的影响

不同冷启动方式的模型最终性能趋于一致，说明未来研究应更关注 RL 方法本身，而不必过度强调冷启动细节。

关键观点6: MoE 模型的挑战及 Routing Replay 方法

探讨了 MoE 模型的挑战，并介绍了 Routing Replay 方法，该方法能够同时减少训练–推理差异与策略陈旧，从而提高训练稳定性。