万字长文总结大模型知识编辑领域最新研究进展

本文约14000字，建议阅读5分钟本文调研了近期的大模型知识编辑的部分工作，分为大模型知识编辑新技术、新设定和挑战与局限性三部分，最后进行总结与展望。随着深度学习与预训练技术的快速发展，大模型如 ChatGPT、Mistral、LLaMA、ChatGLM、文心一言、通义等在自然语言处理领域已经取得了显著的突破。大模型通过将海量的、以文本序列为主的世界知识预先学习进神经网络中，并通过参数化空间实现对知识的处理和操作，其揭示了大规模参数化神经网络在习得和刻画世界知识上的巨大潜力。不同于传统的符号知识工程，大模型的隐式参数知识具有表达能力强、任务泛化好等优点。然而，大模型在处理和理解知识方面仍然存在一些挑战和问题，包括知识更新的困难，以及模型中潜在的知识谬误问题。随着模型参数量变大，大模型更新的成本逐渐变得 ………………………………