大模型训练加速之FlashAttention系列：爆款工作背后的产品观

作者丨方佳瑞来源丨https://zhuanlan.zhihu.com/p/664061672编辑丨GiantPandaCVFlashAttention（FA）是一系列针对Transformer模型训练和推理加速方案。自从去年（2022年）五月发布以来，历经了多次迭代，并借着其节省显存、加速计算、使用简单的特性，目前已经是大模型训练必备之良药。FA的论文，一年多就有242个引用，作为一个做底层优化的论文，也是前无古人了。不过仔细研究背后的历史，你会发现FA没有任何没有独特的创新，甚至某G字大厂还更早公开过一模一样的工作，从某种角度来说FA有抄袭洗稿的嫌疑。FA的爆红出圈的背后，究竟隐藏着什么不为人知的秘密？是人性的扭曲，还是社区的沦丧。本文带你走进FlashAttention的世界，一起解密爆款AI Infra工具背后的故事。一、产品思维成就爆款本文先分析一下FA成功的原因，然后介绍一下技术细节。首先，FA的发展 ………………………………