NeurIPS 2024 | 大模型知识表示的“知识回路”假说，深入理解大模型的知识机理

主要观点总结

本文提出了大模型知识表示的“知识回路”假说，探讨了大型模型的知识处理方式与人脑相似性以及能力是否超越人类的问题。文章通过知识图谱与语言模型的对比，深入分析了大模型知识处理过程中的实体、概念和关系如何通过参数激活逐步形成闭合回路。同时，文章还涉及了知识编辑情况下的知识回路变化、幻觉与In-Context Learning情况下知识回路的现象等内容。

关键观点总结

关键观点1: 知识回路的概念

提出大模型知识表示的“知识回路”假说，即稀疏的回路子图用于知识的存储、处理与表达。

关键观点2: 语言模型与知识图谱的对比

通过对比知识图谱与语言模型，揭示出语言模型在处理知识时的隐式关联和知识元素的依赖。

关键观点3: 知识回路的发现过程

介绍了如何通过计算边的权重变化来构建知识回路，以及验证构建的知识回路的准确性。

关键观点4: 不同类型注意力头的作用

介绍了Mover Head和Relation Head的作用，以及它们在知识回路中的表现。

关键观点5: 知识编辑对知识回路的影响

探讨了不同知识编辑方法（如ROME和Fine-Tuning）对知识回路的影响，并指出了现有编辑方法的局限性。

关键观点6: 幻觉与In-Context Learning情况下知识回路的现象

揭示了知识回路与模型幻觉现象以及In-Context Learning能力之间的联系。