AI做数学学会「动脑子」！ UCL等发现LLM「程序性知识」，推理绝不是背答案

文章预览

本文转自微信公众号“新智元”，作者：新智元。 编辑：Aeneas 好困 【导读】 LLM在推理时，竟是通过一种「程序性知识」，而非照搬答案？可以认为这是一种变相的证明：LLM的确具备某种推理能力。然而存在争议的是，这项研究只能提供证据，而非证明。 LLM，究竟会不会推理？ UCL、Cohere等机构的研究人员发现：在LLM执行推理任务时，竟存在着一种「程序性知识」。 论文地址：https://arxiv.org/abs/2411.12580 这项工作已经登上了Hacker News的热榜。 跟很多人想象的不同，LLM在推理时，并不是使用简单的检索。 真相是， LLM在推理任务中进行泛化时，依赖的是文档中的「程序性知识」，使用可概括的策略，来综合推理任务的解决方案。 研究发现，在涉及「世界上最长的河流」、「人体最常见的元素」这类问题时，模型所依赖的数据集并不相同。 然而一旦涉 ………………………………