SimKO：缓解RLVR训练中的概率过度集中，优化pass@K性能

主要观点总结

本文介绍了针对强化学习在提高大型语言模型复杂推理能力上的应用，特别是针对可验证强化学习（RLVR）在提升模型性能方面的关注。文章指出，现有RLVR方法在提升pass@1性能上表现显著，但在pass@K性能上相比基础模型却有所下降。研究团队从模型预测下一个词的概率分布角度深入研究了这一现象，并提出了新的算法SimKO来优化pass@K性能。SimKO通过实施非对称的梯度调节策略，在正确路径上实现概率平滑，同时在错误路径上施加精准惩罚，从而解决概率过度集中问题。文章还介绍了SimKO在多个数学推理和逻辑推理任务上的优异表现。

关键观点总结

关键观点1: 强化学习在提高大型语言模型复杂推理能力上的应用。

文章介绍了强化学习在这一领域的重要性，以及可验证强化学习（RLVR）的关注度。

关键观点2: 现有RLVR方法在pass@K性能上的问题。

尽管在pass@1性能上有所提升，但现有RLVR方法在pass@K性能上相比基础模型却有所下降，这表明模型在探索多样化正确解的能力上存在问题。

关键观点3: 研究团队对问题的深入研究。

研究团队从模型预测下一个词的概率分布角度深入研究了这一现象，并发现现有RLVR算法训练后的模型存在概率集中于单一推理路径的问题。

关键观点4: SimKO算法的介绍。

为了解决这一问题，研究团队提出了SimKO算法，通过实施非对称的梯度调节策略，在正确路径上实现概率平滑，同时在错误路径上施加精准惩罚，从而解决概率过度集中问题。

关键观点5: SimKO在多个任务上的表现。

SimKO在数学推理和逻辑推理任务上表现出优异的性能，有效提升了模型的pass@K性能，同时保持了良好的pass@1性能。