Transformer上的旋转魔法与应用

主要观点总结

本文介绍了transformer结构的一个特性——旋转不变性，以及其在SliceGPT和QuaRot中的应用。文章详细解释了旋转不变性的原理和基于正交矩阵的保距特性，同时介绍了在self-attn和mlp中的特殊操作。文章还提到了该特性的两个应用场景：矩阵裁剪和异常值压缩。

关键观点总结

关键观点1: transformer结构的旋转不变性

介绍transformer结构的一个特性——旋转不变性，即给向量空间切换正交基不改变模型输出。详细解释其原理和基于正交矩阵的保距特性。

关键观点2: 旋转不变性的应用

介绍旋转不变性在矩阵裁剪和异常值压缩两个应用场景中的应用。矩阵裁剪通过PCA找出不重要维度并剥离，异常值压缩通过旋转操作减小激活值分布中的异常值。

关键观点3: 旋转操作对计算的影响

虽然旋转操作在self-attn和mlp中有特殊操作，但可以通过特定流程实现计算效率的提升。这些旋转操作可以吸收到附近的矩阵中，不会带来额外的计算。