主要观点总结
本文介绍了关于注意力机制的新观点，认为Transformers中的注意力机制在计算复杂度上应该被视为对数级别。文章通过引入“work-depth模型”来分析算法的复杂度，并讨论了适用于张量的算法的性能。作者通过案例研究，如逐个元素相乘、向量求和、张量积、矩阵乘法、softmax和注意力机制等，来阐述其观点。文章还讨论了深度分析的局限性以及对未来计算的影响。
关键观点总结
关键观点1: 注意力机制的计算复杂度被视为对数级别。
作者提出了一个新的观点，通过引入“work-depth模型”来分析算法的复杂度，并讨论了适用于张量的算法。作者通过逐个元素相乘、向量求和等案例研究来支持其观点。
关键观点2: 深度分析的局限性。
深度分析并不完美，存在局限性。当考虑到内存访问模式和高速缓存的友好性时，可能会出现问题。注意力机制的计算在实际中更接近于O(n log n)。
关键观点3: 对未来计算的影响。
作者认为，当前的芯片和未来的芯片需要考虑训练范式的并发性。神经网络的权重在很大程度上是静态的，计算单元的局部性越来越强。芯片制造商已经开始通过将权重转移到更快的内存上来提高性能。
文章预览
选自 supaiku.com 作者：Spike Doanz 机器之心编译 「注意力实际上是对数的」？今天，一篇博客再次掀起了AI社区对注意力机制的讨论。 作者认为，Transformers 中实现的注意力机制，在计算复杂度上应该被视为对数级别的。 这篇博客，还得到了 Karpathy 的高度肯定： 有时我会在想象中的神经网络完整计算图中将其描述为「广度是免费的，深度是昂贵的」。 据我所知，这首先是 Transformer 背后的主要见解 / 灵感。我第一次真正受到它的震撼是在很久以前我读到 Neural GPU 论文的时候（https://arxiv.org/abs/1511.08228）。 另外，在「从比特到智能」中为什么还要包含 python？删除 python，我认为你可以将其减少约 10 倍，就像 llmc 一样。 我们知道，标准的注意力机制（如 Transformer 中的自注意力）计算步骤如下： 其复杂度主要来源于： 点积计算：QK^⊤ 的矩阵乘法，复杂
………………………………
