文章预览
LLM每次回答都要进行复杂的计算，尤其是需要多次调用模型的场景（比如连续推理、多轮对话），成本高得离谱。 关键矛盾 ：用户希望响应快（低延迟），企业想省钱（高吞吐）。 典型场景 ： 思维链推理 （Chain-of-Thought）：模型需要反复自我验证才能给出答案 AI助理 （如AutoGPT）：自动规划任务流程时频繁调用模型 论文：A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and Efficiency 链接：https://arxiv.org/pdf/2505.01658 推理流程与评估指标 推理引擎 工程师们开发了各种优化技术，核心目标是「用更少的资源，做更多的事」： 动态批处理（Dynamic Batching） 原理 ：把多个用户的请求像拼车一样合并处理 效果 ：GPU利用率提升30%+ 代表作 ：vLLM的「连续批处理」技术 动态批处理与传统批处理的对比图 KV缓存（Key-Value Cache） 痛点 ：每次生成新t
………………………………
