「注意力实际上是对数的」？七年前的Transformer还有新发现，Karpathy点赞

文章预览

前言   「注意力实际上是对数的」？今天，一篇博客再次掀起了AI社区对注意力机制的讨论。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源：机器之心 仅用于学术分享，若侵权请联系删除 作者认为，Transformers 中实现的注意力机制，在计算复杂度上应该被视为对数级别的。 这篇博客，还得到了 Karpathy 的高度肯定： 有时我会在想象中的神经网络完整计算图中将其描述为「广度是免费的，深度是昂贵的」。 据我所知，这首先是 Transformer 背后的主要见解 / 灵感。我第一次真正受到它的震撼是在很久以前我读到 Neural GPU 论文的时候（https://arxiv.org/abs/1511.08228）。 另外，在「从比特到智能」中为什么还要包含 python？删除 python，我认为你可以将其减少约 10 ………………………………