ICLR 2024 | 变压器中多头注意力的记忆能力

主要观点总结

本文主要研究了多头注意力机制在Transformer中的记忆能力，通过引入新的输入数据假设，证明了MHA在特定假设下的记忆容量下界。同时，文章也探讨了与两层ReLU网络在记忆能力上的比较。

关键观点总结

关键观点1: 新的输入数据假设

论文引入了一组新的输入数据假设，比一般位置假设更宽松，包括Kruskal秩和一般位置的概念。

关键观点2: 证明记忆容量下界

对于满足假设的输入数据，论文证明了一个具有多头注意力层的Transformer模块的记忆容量下界。

关键观点3: 揭示注意力头的作用

论文的证明揭示了不同注意力头在记忆不同示例集时的作用，以及softmax如何促进这种作用分配。

关键观点4: 实验验证

除了通过实验验证关于输入序列的假设，论文还设计并讨论了合成实验，以证实研究结果。

关键观点5: 与两层ReLU网络的比较

论文将MHA的记忆容量与相同规模的两层ReLU网络进行了比较，并给出了记忆能力的上界。