缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA

©PaperWeekly 原创 · 作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络前几天，幻方发布的 DeepSeek-V2 [1] 引起了大家的热烈讨论。首先，最让人哗然的是 1 块钱 100 万 token 的价格，普遍比现有的各种竞品 API 便宜了两个数量级，以至于有人调侃“这个价格哪怕它输出乱码，我也会认为这个乱码是一种艺术”；其次，从模型的技术报告看，如此便宜的价格背后的关键技术之一是它新提出的 MLA（Multi-head Latent Attention），这是对 GQA 的改进，据说能比 GQA 更省更好，也引起了读者的广泛关注。接下来，本文将跟大家一起梳理一下从 MHA、MQA、GQA 到 MLA 的演变历程，并着重介绍一下 MLA 的设计思路。MHAMHA（Multi-Head Attention），也就是多头注意力，是开山之作《Attention is all you need》所提出的一种 Attention 形式，可以说它是当前主流 LLM 的基础工作。在数学上， ………………………………