[vLLM vs TensorRT-LLM] #5 动态序列长度场景对比

主要观点总结

本文主要探讨了动态序列长度场景下，vLLM和TensorRT-LLM两种大型语言模型（LLM）推理系统的性能对比。文章通过设计新的数据集Dynamic-Sonnet来评估推理框架的性能影响，并结合实验分析了固定和动态数据集对性能的影响以及不同调度策略的表现。最后，文章给出了一些优化建议。

关键观点总结

关键观点1: 文章通过设计Dynamic-Sonnet数据集来评估推理框架的性能影响，该数据集能够结合固定长度和动态长度的优势。

Dynamic-Sonnet数据集包含不同长度的子集，每个子集设计有不同的token数量，以模拟实际使用场景中的输入和输出的动态行为。通过该数据集，可以更准确地评估LLM推理系统在动态场景下的性能。

关键观点2: 文章比较了固定和动态数据集对性能的影响。

在固定数据集中，输出长度是固定的，使得资源利用率和性能预测更加稳定。而在动态数据集中，输入和输出的长度是变化的，导致资源利用率波动，对推理系统的性能提出更高的要求。文章通过实验比较了两种数据集下vLLM和TensorRT-LLM的性能表现。

关键观点3: 文章评估了不同调度策略在动态场景下的性能表现。

文章比较了TensorRT-LLM的两种调度策略GUARANTEED_NO_EVICT和MAX_UTILIZATION。GUARANTEED_NO_EVICT策略会为每个请求预分配KV缓存内存，确保已调度的请求在内存约束下不会被抢占。而MAX_UTILIZATION策略则按需分配KV缓存内存，以提高内存利用率。文章通过实验比较了这两种策略在动态场景下的吞吐量、平均运行批量大小和TPOT等指标。

关键观点4: 文章给出了一些优化建议。

为了提高LLM推理系统在动态场景下的性能，文章建议优化调度策略以减少抢占带来的延迟，同时提升动态环境下的吞吐量。此外，支持混合批处理是关键的优化方向，需要提升框架对动态请求的适配能力，以更高效地利用硬件资源。文章还指出，设计更接近真实LLM使用场景的动态长度数据集对于评估和优化LLM推理系统具有重要意义。