DeepSeek提出通用奖励模型新方法SPCT，探索推理时缩放提升AI对齐效率，或将应用于R2

主要观点总结

DeepSeek团队提出了一种名为DeepSeek-GRM的通用奖励模型及其训练方法SPCT，旨在解决AI模型在推理时遇到的奖励模型构建难题和性能提升瓶颈。该研究关注奖励模型的结构范式，采用了生成式奖励建模（GRM）的逐点式（Pointwise）评分机制。论文探讨了推理时缩放对提升LLM对齐效果的作用，并详细介绍了DeepSeek-GRM模型及SPCT训练过程的关键环节。该模型通过增加推理阶段的计算量来提升性能，并具备在多种任务上展现良好通用性的潜力。论文还在多个主流奖励模型评估基准上进行了实验验证，展示了该方法的有效性。

关键观点总结

关键观点1: DeepSeek团队提出了一种新的通用奖励模型DeepSeek-GRM，旨在解决AI模型在推理时的奖励模型构建难题。

该模型采用生成式奖励建模的逐点式评分机制，旨在提高模型的灵活性和应用范围。

关键观点2: 研究团队提出了一种名为SPCT的训练方法，用于提高DeepSeek-GRM模型的性能。

该方法包括拒绝式微调（RFT）和基于规则的在线强化学习两个阶段，旨在使模型具备生成高质量原则和准确批判的能力。

关键观点3: DeepSeek-GRM模型具备通过增加推理阶段计算量来提升性能的潜力。

研究团队实现了两种推理时间缩放策略，包括基于投票的缩放和元奖励模型引导的投票，以提高最终奖励值的范围和粒度。

关键观点4: 研究团队在多个主流奖励模型评估基准上进行了实验验证，展示了DeepSeek-GRM模型及其推理时间缩放策略的有效性。

实验结果表明，DeepSeek-GRM模型在整体性能上优于同等规模的基线奖励模型，并展现出良好的推理时间缩放特性。