推理语言模型：蓝图

文章预览

25年1月来自ETH、Cledar（前欧洲核研究理事会 CERN 的科学家创立，AI/ML咨询公司）、德国化工公司 BASF SE 和波兰超级计算和网络中心 Cyfronet AGH 的论文“Reasoning Language Models: A Blueprint”。 推理语言模型 (RLM) ，也称为 大型推理模型 (LRM) ，例如 OpenAI 的 o1 和 o3、DeepSeek-V3 和阿里巴巴的 QwQ，通过使用高级推理机制扩展大语言模型 (LLM)，重新定义 AI 的问题解决能力。然而，它们的高成本、专有性质和复杂的架构（独特地结合强化学习 (RL)、搜索启发式和 LLM）带来可访问性和可扩展性挑战。为了解决这些问题，本文提出一个全面的蓝图，基于对所有 RLM 工作的调查和分析，将 RLM 组件组织成一个模块化框架。该蓝图融合各种推理结构（链、树、图和嵌套形式）、推理策略（例如蒙特卡洛树搜索、波束搜索）、RL 概念（策略、价值模型等）、监督方案（基于结果 ………………………………