OpenAI o1是AGI下半场的开始，强化学习将成为新的 Scaling Law

主要观点总结

随着OpenAI o1模型的发布，LLM正式进入self-play RL范式时代，预示新的scaling law的形成。OpenAI并非唯一重视RL和Self-Play的公司，其他公司如Anthropic Claude 3.5 Sonnet和Google也围绕LLM做reward model展开研究。o1的发布加速新范式共识的形成，将RL从头部AI Labs的尝试向全行业扩散。未来，Claude 3.5系列新模型的发布值得关注，它们的表现将是RL进程是否顺利的风向标。拾象科技CEO李广密与张小珺围绕AGI发展路径猜想，探讨了RL和合成数据如何帮助模型升级，基于LLM的RL和self play与以前的RL有何不同，以及模型Reasoning能力提升后的新机会。此外，李广密还讨论了强化学习（RL）的重要性，并预测了OpenAI o1模型和其他AI模型的发展。

关键观点总结

关键观点1: OpenAI o1模型发布，LLM进入self-play RL范式时代

OpenAI o1模型的发布标志着LLM正式进入self-play RL范式时代，预示新的scaling law的形成。

关键观点2: 其他公司重视RL和Self-Play

OpenAI并非唯一重视RL和Self-Play的公司，其他公司如Anthropic Claude 3.5 Sonnet和Google也围绕LLM做reward model展开研究。

关键观点3: o1的发布加速新范式共识的形成

o1的发布加速新范式共识的形成，将RL从头部AI Labs的尝试向全行业扩散。

关键观点4: Claude 3.5系列新模型的发布值得关注

未来，Claude 3.5系列新模型的发布值得关注，它们的表现将是RL进程是否顺利的风向标。

关键观点5: 强化学习（RL）的重要性

李广密讨论了强化学习（RL）的重要性，并预测了OpenAI o1模型和其他AI模型的发展。