世界模型又近了？MIT惊人研究：LLM已模拟现实世界，绝非随机鹦鹉！

主要观点总结

MIT CSAIL的研究发现，大型语言模型（LLM）在模拟环境中理解语言和世界的能力已经超越了简单的模仿。LLM在解决类似卡雷尔谜题时表现出对现实世界的模拟理解能力，并且其理解过程分阶段发展，如同孩童学习语言一样。研究者使用“探针”技术深入探究LLM的思维方式，发现其内部存在对现实世界的理解模型。

关键观点总结

关键观点1: LLM内部存在对现实世界的模拟理解

MIT的研究发现，LLM不仅在表面统计数据上学习，还学习了包括空间和时间等基本维度的世界模型。在解决卡雷尔谜题时，LLM能够自发地形成对底层模拟环境的概念，显示出对现实世界的理解能力。

关键观点2: LLM理解语言的能力分阶段发展

LLM对语言的理解是分阶段发展的，就像孩子学习语言一样。开始阶段主要是重复和模仿，随后逐渐获取语法或语言规则，最后开始产生正确执行所要求规范的指令。

关键观点3: 探针技术在探究LLM思维过程中的作用

研究者使用探针技术来深入探究LLM的思维方式。通过不同的探针分类器测量的语义内容，研究者能够了解LLM在生成指令前的思维过程，以及生成指令的‘意图’已经存储在模型内部的情况。