无位置编码 (NoPE) 也有长度泛化问题？首个针对NoPE的长度外推方法

文章预览

前言   无位置编码（NoPE）的 Transformer 已经被证明在自回归语言模型任务上和 Transformer+RoPE 效果相当 [7,8,9]，但是 NoPE 的长度泛化问题并没有改善，和 RoPE 一样严重。华师、复旦、上海 AI Lab 联合团队 基于 NoPE，在排除位置编码影响下，研究长度泛化失败的表现和原因，并首次提出适用于 NoPE 的长度泛化方法。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源 ：PaperWeekly 仅用于学术分享，若侵权请联系删除 基于 Transformer 的大型语言模型（LLM）展示了强大的文本理解能力，颠覆了整个 NLP 领域的应用范式。然而，在长度有限文本上预训练的语言模型却无法像人类一样泛化到任意长度文本，如何解决长度泛化问题成为了 LLM 的一项主要挑战。  目前主流的 ………………………………