今天看啥  ›  专栏  ›  深度学习与NLP

GitHub 8.9K Star,伯克利大学开源LLM记忆管理框架MemGPT

深度学习与NLP  · 公众号  ·  · 2024-05-03 10:55
来源丨AI 科技大本营(ID:rgznai100)5月1日晚间,字节跳动全栈开发者 Tom Huang 发 X 推文介绍了伯克利大学开源最专业的 LLM 记忆管理框架 MemGPT(Memory-GPT) 。目前, MemGPT 已在 GitHub 上收获 8.9K Star。开源链接:https://github.com/cpacker/MemGPTMemGPT 的组件:主上下文 (Main Context): 就是大模型中固定的上下文窗口,这部分包含LLM的提示词,是大模型接收到的内容。外部上下文 (External Context): 需要在推理过程中被LLM使用,就必须显式地移动到主上下文中,大模型无法直接用。MemGPT 会自动将多余的上下文经过整理后保存并持久化。MemGPT 的特性包括:受 Agent/Tools 、LLM/AIOS 等理念启发,设计出的虚拟上下文管理的 LLM 系统,扩展 LLM 上下文。管理 Main Memory、外部存储有效「分页」进出信息与用户控制流。支持一致性、参与度评估。根据《MemGPT:将大语言模型作为操作 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照