让SFT重新伟大！CMU等华人学者提出全新「批判式微调」，媲美复刻版DeepSeek

主要观点总结

本文介绍了CMU等机构华人团队提出的「批判性微调」（CFT）方法，该方法旨在改进大模型在面对复杂推理任务时的性能。CFT方法通过在少量样本上进行训练，让模型学会批判，而不是简单地模仿。实验表明，CFT方法在推理任务上的表现优于使用超过200万个样本的强化学习方法（SFT）。

关键观点总结

关键观点1: CFT方法简介及目标

CFT是一种改进大模型性能的方法，旨在让模型更有效地模仿数据集。其目标是让模型学会批判，而不是简单地模仿。这种方法源于人类的学习过程，并受到启发。

关键观点2: CFT与SFT的对比

传统语言模型训练的主要方式是模仿（SFT）。然而，随着数据集规模和质量的提升，SFT面临着边际收益递减的问题。相比之下，CFT通过让模型学会批判，提升了模型对问题的深入理解，并在推理任务上表现出更强的适应性和灵活性。

关键观点3: CFT方法的具体实施

CFT数据集通过构建带有批评意见的问答对作为训练数据集。这些问题主要聚焦在数学领域，也包括物理、化学、商业等主题。训练目标是将问题、错误响应和评论结合起来，优化模型参数以生成更准确的回应。

关键观点4: CFT方法的优势

CFT方法具有多个优势，包括提高模型的推理能力、在复杂任务中表现出更强的适应性和灵活性、训练效率高以及计算成本低。此外，CFT训练的数据集构建和训练过程相对简单，也使其成为实际应用的可行选择。

关键观点5: CFT的局限性及未来研究方向

虽然CFT方法在许多方面表现出优势，但也存在一些局限性，如批评数据的质量问题、模型的自我批评能力尚未开发以及数据集代表性不足等。未来的研究可能集中在提升批判数据质量和探索模型自我批判机制方面，同时将CFT与其他训练范式相结合，并研究其理论基础。