自一致性首选项优化SCPO，让LLM多次回答同一个问题，选输出频率最高的答案 |Meta最新

文章预览

点击上方 蓝字 关注我 本文：3900字阅读  10分钟 “ 传统的训练方法通常依赖于大量人工标注的数据和外部奖励模型，这些方法往往受到成本、质量控制和泛化能力的限制。因此，如何减少对人工标注的依赖，并提高模型在复杂推理任务中的表现，成为了当前的主要挑战之一。 Meta的研究团队提出了 自一致性首选项优化（Self-Consistency Preference Optimization，SCPO) 这一创新方法，为解决这一问题提供了新的思路。SCPO通过一种独特的训练机制，利用模型自身的推理一致性来优化其能力，而无需依赖人工标注的答案或外部奖励模型。这个方法特别适用于数学推理、逻辑推理等多步骤的复杂任务，并能在没有金标准标签的情况下，显著提高模型的推理准确性。 图片由修猫制作 01 研究背景与现有方法的局限 现有方法的主要问题 人工标注的局限性 标注成本高 ………………………………