什么是Transformer位置编码？

公众号关注 “ML_NLP”设为 “星标”，重磅干货，第一时间送达！转载自 | Datawhale过去的几年里，Transformer大放异彩，在各个领域疯狂上分。它究竟是做什么，面试常考的Transformer位置编码暗藏什么玄机？本文一次性讲解清楚。Transformer的结构如下：可能是NLP界出镜率最高的图Transformer结构中，左边叫做编码端(Encoder)，右边叫做解码端(Decoder)。大家不要小看这两个部分，其中左边的编码端最后演化成了最后鼎鼎大名的Bert，右边的解码端在最近变成了无人不知的GPT模型。从刚才的描述中，我们就可以知道Transformer这个模型对于NLP领域的影响有多大，并且这个影响力还在往其他领域扩展。所以问题就来了，Transformer到底是干嘛的？答：重点在Transformer的突破之一—Self-attention， ………………………………