OpenAI o1多步更复杂规划能力仅为23.63%

主要观点总结

本文介绍了OpenAI的o1模型在计划推理能力方面的评估。文章提及了Subbarao Kambhampati发布的关于o1的首篇评估论文，正式将o1-like的LLM更名为LRM。文章讨论了LLMs在处理需要复杂规划和推理的任务时表现不佳，并通过PlanBench基准测试对多个LLMs进行了评估，包括OpenAI的o1模型。文章还详细阐述了o1模型在处理不同问题时的表现，及其与传统LLMs和Fast Downward规划器的对比。此外，文章还讨论了o1模型在处理复杂问题、不可解问题的识别以及成本和效率考量等方面的问题。

关键观点总结

关键观点1: 大型语言模型（LLMs）在规划任务上的表现

LLMs在处理语言相关任务上取得显著进展，但在需要复杂规划和推理的任务上表现不佳。通过使用PlanBench基准测试评估，包括在Blocksworld问题上的表现，一些LLMs如LLaMA 3.1 405B在未混淆问题上达到62.6%的准确率，但在句法混淆问题上表现较差。

关键观点2: OpenAI o1模型的评估

OpenAI o1模型被设计为大型推理模型（LRM），旨在克服传统LLMs的限制。在PlanBench基准测试上，o1模型在Blocksworld问题上的表现优于其他LLMs，但在更复杂问题上，如需要更多步骤解决的问题上，其性能迅速下降。

关键观点3: o1模型处理不可解问题的表现

尽管o1模型被宣称能够准确识别无法解决的问题，但在实际测试中，其在识别不可解问题上的表现并不理想，有时会错误地声称可解问题为不可解。此外，其推理成本远高于传统LLMs，这可能会影响其在实际应用中的可行性。