不用强化学习也能推理，哈佛新采样算法竟能让基础模型比肩GRPO后训练版本

主要观点总结

近日，哈佛大学一篇论文探索了基础模型是否可以通过纯粹的采样表现出推理能力，提出了一种利用基础模型自身似然度的简单迭代采样算法。该算法无需训练、数据集或验证器，避免了强化学习的一些固有弱点。该算法的核心是基于分布锐化概念，使用幂分布进行推理。实验证明，该算法在不同基础模型上能大幅提升推理能力，且性能稳健，计算成本具有可行性。

关键观点总结

关键观点1: 研究背景及问题

哈佛大学的研究团队探索了基础模型是否可以通过纯粹的采样表现出推理能力，旨在解决强化学习是否必需为大模型带来推理能力的问题。

关键观点2: 核心算法介绍

研究团队提出了一种基于基础模型自身似然度的采样算法。该算法利用分布锐化概念，通过幂分布进行推理。具体来说，该算法采用Metropolis-Hastings算法从幂分布中进行采样。

关键观点3: 实验结果及优势

实验证明，该算法在不同基础模型上能大幅提升推理能力，相对于不同基线在多种评估任务上都实现了显著的提升。该算法的优势在于无需训练、数据集和验证器，避免了强化学习的一些固有弱点。此外，该算法性能稳健，计算成本具有可行性。