文章预览
来源丨AI 科技大本营(ID:rgznai100) 5月1日晚间,字节跳动全栈开发者 Tom Huang 发 X 推文介绍了伯克利大学开源最专业的 LLM 记忆管理框架 MemGPT(Memory-GPT) 。目前, MemGPT 已在 GitHub 上收获 8.9K Star。 开源链接: https://github.com/cpacker/MemGPT MemGPT 的组件: 主上下文 (Main Context): 就是大模型中固定的上下文窗口,这部分包含LLM的提示词,是大模型接收到的内容。 外部上下文 (External Context): 需要在推理过程中被LLM使用,就必须显式地移动到主上下文中,大模型无法直接用。 MemGPT 会自动将多余的上下文经过整理后保存并持久化。 MemGPT 的特性包括: 受 Agent/Tools 、LLM/AIOS 等理念启发,设计出的虚拟上下文管理的 LLM 系统,扩展 LLM 上下文。 管理 Main Memory、外部存储有效「分页」进出信息与用户控制流。 支持一致性、参与度评估。 根据《MemGPT:将大语言模型
………………………………