刚刚，DeepSeek公布推理时Scaling新论文，R2要来了？

主要观点总结

本文介绍了DeepSeek提交到arXiv的最新论文关于强化学习在自然语言处理中的应用，文章详细描述了DeepSeek提出的新的学习方法自我原则批评调整（SPCT），用于提升通用奖励模型在推理阶段的可扩展性，并由此训练出DeepSeek-GRM系列模型。实验证明SPCT在生成质量和推理阶段的可扩展性方面，明显优于现有方法，并超过了多个强大的开源模型。

关键观点总结

关键观点1: DeepSeek提交到arXiv的最新论文的研究背景

当前强化学习已广泛应用于大语言模型的后期训练，DeepSeek提交到arXiv的论文探索了奖励模型的不同方法，发现逐点生成奖励模型可以克服挑战。

关键观点2: 自我原则批评调整（SPCT）方法的介绍

SPCT是一种新的学习方法，用于提升通用奖励模型在推理阶段的可扩展性。它通过利用基于规则的在线强化学习，使逐点奖励模型能够学习根据输入查询和响应自适应地提出原则和批评，从而在一般领域获得更好的结果奖励。

关键观点3: DeepSeek提出的DeepSeek-GRM系列模型

基于SPCT，DeepSeek提出了DeepSeek-GRM-27B模型，它通过多次采样来扩展计算使用量，利用并行采样生成不同的原则集和相应的批评，然后投票选出最终的奖励。实验证明，DeepSeek-GRM在多个基准测试中表现优异。

关键观点4: 实验证明SPCT的有效性

实验证明SPCT在生成质量和推理阶段的可扩展性方面明显优于现有方法，并超过了多个强大的开源模型。此外，SPCT的训练方案还被应用到更大规模的语言模型上，发现推理阶段的扩展性收益甚至超过了通过增加模型规模所带来的训练效果提升。