让预训练 Transformer 生成更长的文本/图像：位置编码长度外推技术

文章预览

随着视觉主干模型不断向 Transformer 靠拢，和 Transformer 配套的一些技术也从 NLP 社区涌入了 CV 社区。比如 Stable Diffusion 3 还在用标准 Transformer 那一套正弦位置编码，而其升级版 FLUX.1 就用上了旋转位置编码 (RoPE) , Lumina-T2X 模型甚至把 RoPE 的长度外推技术也从 NLP 社区搬了过来。在这篇博文中，我将站在一个对 NLP 技术了解不深的 CV 研究者的视角，介绍一下 NLP 中 RoPE 相关的位置编码知识、NTK-aware RoPE 长度外推技术以及它们在 CV 里的应用。 长度外推，指的是使用在短序列上预训练的 Transformer 模型直接生成超出训练长度的长序列。类比到图像生成中，长度外推可以看成对模型所建模的图像分布做了一次超分辨率：比如模型训练时只见过 的图像，我们想直接用它生成 且同样清晰的图像。 推荐大家在阅读本文前先熟悉位置编码的基本原理，强烈推荐阅读 ………………………………