总结版 | vLLM这一年的新特性以及后续规划

文章预览

作者 | oldpan 编辑 | 自动驾驶之心 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 视觉大语言模型 』 技术交流群 本文只做学术分享，如有侵权，联系删文 本文来自 The State of vLLM | Ray Summit 2024 & & RoadMap的 分享，带大家一起回顾下vllm发展历史、过去一年的发展及接下来Q4规划。 感兴趣的也可以查看原视频： https://www.youtube.com/watch?v=4HPRf9nDZ6Q [1] 过去一年vLLM的工作内容 记得vLLM在九月初 更新了一个版本 [2] ，性能有了明显的提升（支持了 multi step ， 因为减少了CPU overhead，会对吞吐会有提升，但是带来的副作用是TTFT和ITL会变大 ），某些场景确实带来了收益。 vLLM在2024年更新了很多内容～首先是模型支持，支持几乎所有的llm和vlm模型且效率非常高，这点确实要比TRT-LLM支持 ………………………………