LeCun团队开源首个代码世界模型：能生成代码还能自测自修！传统编程模型一夜成古典

主要观点总结

MetaFAIR推出了全新的代码世界模型CWM，这是一个专为代码生成和推理打造的研究模型。CWM具备理解代码执行的能力，能够在多个代码与推理任务上表现出色。此次推出的模型开源、数据透明、训练复现全开放。文章介绍了CWM的关键特点、模型架构、训练流程以及使用注意事项。

关键观点总结

关键观点1: CWM的特点

CWM是首个将世界模型系统性引入代码生成的语言模型，具备生成代码、理解语义、模拟代码运行过程的能力，可模拟代码运行过程中变量的状态变化与环境反馈。

关键观点2: CWM的模型架构与性能

CWM采用decoder-only Transformer结构，参数规模为32B，支持131k tokens的长上下文输入。其模型架构采用局部+全局交替机制，兼顾效率与上下文覆盖。在多个评测对比上，CWM表现优秀，如SWE-bench Verified得分65.8%，领先所有开源同规模模型。

关键观点3: CWM的训练流程

CWM的训练分为三个阶段：预训练阶段、中期训练阶段和后训练阶段。其中，中期训练阶段引入了世界建模数据，使模型能够识别“代码运行过程中，程序状态如何变化”。此外，CWM还使用了多种数据类型进行训练，包括Python执行轨迹数据、ForagerAgent数据等。

关键观点4: CWM的使用注意事项

CWM主要面向代码理解与复杂推理研究，并不适合对话任务或作为Chatbot使用。此外，CWM明确定位是“研究用”，仅供非商业研究使用。

免责声明