【资源】Transformer模型大盘点，NLP学习必备

（给机器学习算法与Python学习加星标，提升AI技能）本文转自AI新媒体量子位（公众号 ID: QbitAI）可高效处理长文本的模型Longformer、和堪称“升级版”Transformer的BigBird模型，到底有什么区别？Transformer的其他各种变体（X-former）到底都长什么样、又有哪些新应用？由于Transformer模型的发展速度日新月异，一天一个样，哪怕是隔段时间回来研究，模型可能也已经多了不少。Transformer模型，是谷歌在2017年推出的NLP经典模型（Bert就是用的Transformer）。在机器翻译任务上，Transformer表现超过了RNN和CNN，只需要编/解码器就能达到很好的效果，可以高效地并行化。好消息是，这里有一篇Transformer模型的“最新动向”，它集中探讨Transformer新模型对于自注意力机制（Self-attention）的改进 ………………………………