DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO

主要观点总结

本文介绍了在更大的语言模型上使用GRPO时出现的训练不稳定问题，并分析了其原因。为了解决这一问题，论文提出了GSPO算法，该算法通过改变重要性权重的计算方式，从sequence的维度计算梯度，而不是token的维度，从而提高了训练稳定性。文章还介绍了GSPO与GRPO在训练效率、稳定性和MoE模型应用方面的对比实验。

关键观点总结

关键观点1: GRPO在更大的语言模型上使用时会出现训练不稳定的问题，原因是其重要性权重设计错误，容易引入高方差的噪声。

为了解决这一问题，论文提出了GSPO算法，将针对token分布的权重改为针对sequence的重要性权重，并从sequence的维度计算梯度。

关键观点2: GSPO解决了RL训练中的稳定性问题，简化了RL架构，不必单独设计复杂的trick来维持稳定。

GSPO通过与GRPO对比实验，证明了其在训练效率、稳定性和MoE模型应用方面的优势。

关键观点3: GSPO算法基于重要性采样定义，目标是为了匹配sequence-level的reward定义，使clip机制更有意义。

GSPO提出了GSPO-token变体，可以在某些场景下在token级别上进行优势细粒度调整。

免责声明