借着triton inference server聊一下各种batching方法

主要观点总结

文章主要介绍了在大模型部署场景中，模型的性能优化及整体调度对服务性能的影响。文章详细描述了各种batch策略，包括单batch、静态batching、动态batching、continuing batching、ragged batching和自定义batching，并给出了它们的应用场景和实例。同时，文章还介绍了nougat模型的多模态推理特性，以及如何利用该特性进行自定义batch策略的设计。

关键观点总结

关键观点1: 文章概述了大模型部署场景中模型性能优化及整体调度的重要性。

文章提到在实际场景中，除了模型性能外，整体的调度和pipeline优化对服务性能也有很大影响。

关键观点2: 文章详细描述了各种batch策略。

包括单batch、静态batching、动态batching、continuing batching、ragged batching和自定义batching，并解释了它们的应用场景和实例。这些策略在提升模型服务性能方面有重要作用。

关键观点3: 文章介绍了nougat模型的多模态推理特性。

nougat模型由encoder和decoder两部分组成，能够在图像中识别所有单词并进行逐个输出。

关键观点4: 文章阐述了如何利用nougat模型的特性进行自定义batch策略的设计。

可以通过提前检测图像中字儿的数量，根据数量相近的请求组成batch传入模型，将数量特别多的请求单独推理，从而提高推理效率。