专栏名称: 深度学习与NLP
专注深度学习、NLP相关技术、资讯,追求纯粹的技术,享受学习、分享的快乐。
今天看啥  ›  专栏  ›  深度学习与NLP

GitHub 8.9K Star,伯克利大学开源LLM记忆管理框架MemGPT

深度学习与NLP  · 公众号  ·  · 2024-05-03 10:55

文章预览

来源丨AI 科技大本营(ID:rgznai100) 5月1日晚间,字节跳动全栈开发者 Tom Huang 发 X 推文介绍了伯克利大学开源最专业的 LLM 记忆管理框架 MemGPT(Memory-GPT) 。目前, MemGPT 已在 GitHub 上收获 8.9K Star。 开源链接: https://github.com/cpacker/MemGPT MemGPT 的组件: 主上下文 (Main Context): 就是大模型中固定的上下文窗口,这部分包含LLM的提示词,是大模型接收到的内容。 外部上下文 (External Context): 需要在推理过程中被LLM使用,就必须显式地移动到主上下文中,大模型无法直接用。 MemGPT 会自动将多余的上下文经过整理后保存并持久化。 MemGPT 的特性包括: 受 Agent/Tools 、LLM/AIOS 等理念启发,设计出的虚拟上下文管理的 LLM 系统,扩展 LLM 上下文。 管理 Main Memory、外部存储有效「分页」进出信息与用户控制流。 支持一致性、参与度评估。 根据《MemGPT:将大语言模型 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览