主要观点总结
本文介绍了自从ChatGPT问世以来，LLM技术对人工智能技术领域产生的冲击性影响，以及围绕LLM的技术架构的发展情况。文章重点解释了LLM Inference和LLM Serving的概念，它们之间的区别和联系，以及它们在LLM技术中的角色。同时，文章也介绍了Model Context Protocol (MCP)在LLM推理和服务中的作用，并对MCP的未来发展进行了预测。
关键观点总结
关键观点1: LLM技术对人工智能技术领域的影响。
自从ChatGPT问世以来，LLM技术对人工智能技术领域产生了冲击性影响，许多围绕LLM的技术架构也在不断发展。
关键观点2: LLM Inference和LLM Serving的概念及区别。
LLM Inference指运行经过训练的LLM以生成预测或输出的过程，专注于模型本身的执行；而LLM Serving支持用户或应用程序能够大规模地访问LLM Inference的基础设施和软件系统，包括API接入层、负载均衡等功能，面向用户和客户端通过IT工程实践去解决使用大语言模型的问题。
关键观点3: Model Context Protocol (MCP)的作用。
MCP是一个开放协议，用于标准化应用程序与LLM之间的交互方式。它更像是一个桥梁，用来连接AI模型（包括大语言模型）和不同的数据源与工具。
关键观点4: MCP的未来发展预测。
作者预测MCP未来会将LLM Inference划分为其Backend Service，将LLM Serving划分为其Frontend Service，以便更好地优化模型自身的运行时和工程技术。
文章预览
作者 | 张怀龙 背景介绍 自从 ChatGPT 问世以后，LLM 相关技术对人工智能技术领域形成了冲击性的影响，许多围绕 LLM 的技术架构的发展也一直在如火如荼的展开，比如 RAG 和 AI-Agent，以及时下比较火爆的 Model Context Protocol (MCP)[1]。在展开之前结合行业现实，笔者认为解释清楚 LLM Inference（LLM 推理）和 LLM Serving（LLM 服务）的概念是十分必要的。 事实上，由于行业的快速发展，许多概念和知识点一直在业界混淆不清，比如对于 LLM Inference 和 LLM Serving 两个概念我相信不少人都是相当不清晰的。笔者认为造成这些问题的主要原因之一是在 LLM 的工程实践过程中将其所负责的功能范畴相互交错导致的。简单来说，为了满足业务需求很多 LLM 相关的技术框架不得已将 LLM Inference 和 LLM Serving 的功能集合都实现成在一起，导致功能集合的边界模糊不清。因此，除了
………………………………
