Neurips 2024 | 通过解耦的位置向量探索大语言模型的上下文窗口

主要观点总结

本文通过分析大语言模型的位置向量，探讨了其在上下文窗口中的工作机制。研究发现位置向量在模型中的形成和作用，并提出了两种全新的上下文窗口扩展方法。

关键观点总结

关键观点1: 位置向量的形成和作用

位置向量在大语言模型中起到注意力机制中注意力汇和长期衰减的重要作用。最前面的位置上形成了独特的位置信息，并随着层的加深塑造了后续的位置信息。

关键观点2: 超过上下文窗口后的位置向量变化

当超过上下文窗口后，位置向量的稳定性是模型长度外推的关键因素。分布外的位置向量是导致模型性能下降的主因之一。上下文窗口拓展方法本质上实现了位置向量的内插。

关键观点3: 两种全新的上下文窗口扩展方法

基于位置向量的分析，提出了两种全新的上下文窗口扩展方法：位置向量替换和注意力窗口扩展。这两种方法能够有效扩展模型的上下文窗口，避免性能损失。