专栏名称: GiantPandaCV
专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创,每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你,大家一起共同进步(・ω<)☆
目录
相关文章推荐
今天看啥  ›  专栏  ›  GiantPandaCV

OpenAI o1技术初探3:如何让模型拥有自我纠错的能力

GiantPandaCV  · 公众号  · 3D  · 2024-10-30 09:55
    

文章预览

在这个系列之前的文章中: 我们探索了o1(可能基于test-time scaling law)做的 基本框架 。 以及框架中的一块积木 (靠纯inference优化来增强逻辑推理能力 ,我们分别列举了“PRM+some search methods”以及“MCTS”两种方法,本质上来说这两种都是MCTS-style的评估-搜索方法) 在这篇文章中,我们来探索另一块更好玩的积木: “o1是如何拥有自我纠错的能力的?” 。 在下文中,我会基于自己的猜想,把o1的这种self-correction的能力与基于强化学习的post-training过程,以及我们上篇中所说的MCTS过程串起来 。 同样,这也是我在阅读相关论文,及观察o1输出结果demo后给出的自己的猜想,具有强主观性,大家选择性阅读。 一、o1 demo中体现的自我纠错能力 在openai o1官网的例子中(https://openai.com/index/learning-to-reason-with-llms/),当我们展开模型回复结果里thought for xx seconds ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览