DeepSeek前脚发新论文，奥特曼立马跟上：GPT-5就在几个月后啊

主要观点总结

本文介绍了DeepSeek新发布的论文《Inference-Time Scaling for Generalist Reward Modeling》，该论文提出了一种新的方法SPCT（Self-Principled Critique Tuning），用于通过在线强化学习（RL）优化原则和批判生成，实现推理时扩展。文章还提到了DeepSeek与清华大学共同进行的研究，旨在解决通用奖励模型在面临复杂、多样化任务时的挑战。研究包含了生成式奖励模型（GRM）等三大核心技术点，并通过实验验证了推理时扩展在通用RM中的有效性。

关键观点总结

关键观点1: DeepSeek与清华大学共同提出SPCT方法，旨在解决通用奖励模型在复杂、多样化任务中的挑战。

SPCT方法通过在线强化学习（RL）优化原则和批判生成，支持灵活输入和推理时扩展。

关键观点2: 研究包含三大核心技术点：生成式奖励模型（GRM）、SPCT方法和推理时扩展技术。

GRM采用点式生成奖励模型，支持灵活输入和推理时扩展；SPCT通过在线RL训练GRM，提升奖励质量；推理时扩展技术通过多样化采样和投票聚合最终奖励，提高扩展效果。

关键观点3: 实验结果表明，DeepSeek-GRM-27B在多个基准上显著优于基线方法，通过推理时扩展性能进一步提升。

DeepSeek的新研究证明了推理时扩展在通用RM中的有效性，并且性能超越训练时扩展。