几种常用的位置编码介绍及pytorch实现

文章预览

作者：高瞻远 原 文 地址： https://zhuanlan.zhihu.com/p/674133494 引言 在NLP任务中(后续拓展为多模态任务)，顺序信息至关重要，例如: 我借给你300块与你借给我300块具有完全不同的含义。 对于Transformer模型来说，由于Attention模块的无序性(无法区分不同位置的Token)，必须加入额外的信息来记录顺序，这里引入了位置编码。位置编码在后续基于Transformer架构的文章中有很多不同的实现方式，尤其是在大语言模型大行其道的现在，在面对长token的输入时，挑选合适的位置编码也会提升训练的效果。本文整理主流模型的位置编码实现方式，并用torch实现以加深理解。 位置编码从实现方式上大致可以分为2类: 绝对位置编码: 将位置信息融入到输入中 相对位置编码: 微调Attention结构，使其可以分辨不同位置的Token 绝对位置编码 在输入的第k个向量 xk 中加入位置向 ………………………………