把注意力计算丢给CPU，大模型解码吞吐量提高1.76~4.99倍

主要观点总结

本文介绍了来自CMU、华盛顿大学、Meta AI的研究人员提出的MagicPIG方法，旨在解决长上下文大模型（LLM）推理过程中KV缓存导致的GPU内存限制问题。MagicPIG通过在CPU上使用LSH采样技术，有效克服了GPU内存容量限制，提高了解码吞吐量，并在检索和推理任务中实现更高的下游准确率。研究的主要贡献是提升了推理质量，并探索了异构计算的可能性。

关键观点总结

关键观点1: KV缓存问题

KV缓存成为长上下文大模型推理的瓶颈，其显存占用随着批量大小和序列长度的增加而迅速增加，限制了GPU的批量处理能力。

关键观点2: MagicPIG方法

MagicPIG通过采样而非搜索的方式解决KV缓存问题，使用基于LSH的采样技术进行注意力估计，提高了估计的准确性。将注意力计算和哈希表放在CPU上执行，降低了内存访问量，提高了CPU的内存带宽。

关键观点3: 研究贡献

MagicPIG提高了推理质量，探索了异构计算的可能性，降低了LLM部署成本。实验表明，MagicPIG在各种情况下提高了1.76~4.99倍的解码吞吐量，并在检索和推理任务中实现更高的下游准确率。