打破SFT与RL的界限：清华提出统一LLM训练之道

主要观点总结

本文介绍了清华大学等单位合作完成的论文，该论文统一了监督微调（SFT）和强化学习（RL）的优化目标，提出了统一策略梯度估计器（UPGE）和混合后训练算法（HPT）。HPT能够根据模型的实际表现动态选择学习方式，在多个数学推理基准上显著超越了以往的最佳方法，且适用于不同规模的模型。论文还指出，SFT和RL并非彼此对立，而是同一枚硬币的两面。

关键观点总结

关键观点1: 研究背景与动机

监督微调（SFT）与强化学习（RL）在大型语言模型（LLM）的后期训练中是两种主要方法，各有优劣。如何结合两者成为一个重要问题。

关键观点2: 核心理论：统一策略梯度估计器（UPGE）

论文提出了一个统一策略梯度估计器（UPGE），从梯度层面实现了SFT和RL的统一。UPGE包括稳定性掩码、参考策略分母、优势估计和似然梯度等核心组件。

关键观点3: 算法实现：混合后训练（HPT）

基于UPGE的理论，论文提出了混合后训练算法（HPT），让模型根据表现动态选择学习方式。HPT通过动态切换机制在不同任务和数据特性下选择最合适的学习方法。

关键观点4: 实验结果与分析

实验表明，HPT在多个数学推理基准上性能全面提升，尤其在分布外泛化上优势明显。

关键观点5: 总结与未来工作

论文通过理论统一和算法创新解决了LLM后训练中SFT与RL融合的问题。未来工作可以探索更精细的梯度组件组合策略、扩展至多模态、跨任务场景以及理论分析更复杂的偏差-方差 trade-off。