LLM强化学习不稳定之谜，被Qwen团队从「一阶近似」视角解开

主要观点总结

本文主要介绍了阿里千问团队在强化学习（RL）应用于大语言模型（LLM）方面的研究成果。他们提出了一种全新的RL公式化方法，旨在解决序列级奖励与token级优化目标不匹配的问题，并验证了这种方法在大型语言模型中的有效性。研究包括大量实验和对不同训练方法的评估，如带重要性采样校正的基本策略梯度算法等。

关键观点总结

关键观点1: 研究背景及目的

随着AI技术的发展，大语言模型（LLM）的应用越来越广泛。强化学习（RL）作为提升LLM复杂推理与解题能力的关键技术，其训练过程的稳定性对成功扩展RL至关重要。文章旨在解决序列级奖励与token级优化目标不匹配的问题，提高训练稳定性。

关键观点2: 核心洞察

阿里千问团队通过引入替代的token级优化目标作为序列级目标的一阶近似，解决了序列级奖励与token级优化目标不匹配的问题。这一近似在特定条件下成立，为稳定RL训练提供了理论支持。

关键观点3: 主要方法

团队使用一个由参数θ表示的自回归大语言模型（LLM）作为策略π_θ。他们通过引入重要性采样（IS）来完成等价的变换，并使用带token级重要性采样权重的基本策略梯度算法（REINFORCE）作为替代目标。为了缓解训练过程中的不稳定因素，团队还引入了Clipping机制和Routing Replay方法。

关键观点4: 实验结果

实验结果表明，带重要性采样校正的基本策略梯度算法（MiniRL）在严格的应力测试场景中取得了最佳性能和最高训练稳定性。同时，Routing Replay和Clipping共同作用于抑制策略陈旧，保障训练稳定性。此外，研究还发现不同冷启动初始化的结果相近，说明研究重点应更多放在RL方法本身。

关键观点5: 研究意义

本文提出的RL公式化方法和相关技术手段为稳定大语言模型的强化学习训练提供了新的思路和方法，有助于推动AI技术的发展和应用。