Transformer 温故知新

这是之前学习paddle时候的笔记，对Transformer框架进行了拆解，附图解和代码，希望对大家有帮助 写在前面最近在学习paddle相关内容，质量比较高的参考资料好像就paddle官方文档[1]。所以如果大家想学习一下的话，可以先简单过一遍文档，如果你之前有tensorflow或者torch的基础，看起来应该会比较快，都差不多的嘛。然后细节的部分就可以去实战看（写）代码了。下面是一个用paddle实现的目前NLP领域最火的Transformer模型，包括模型详细的拆解可视化以及对应每一步的代码实现，enjoy！Encoder PartResiduals & Layer NormFeed ForwardSelf-Attention完整Encoder代码Decoder PartMasked Multi-Head AttentionEncoder-Decoder Attention整体Decoder代码Full Transformer一、Encoder Part下图是一个encoder block，可以看到主要由以下四部分组成：Self-AttentionFeed ForwardResidual ConnectionLayer Norm下面我们由简单至复杂来 ………………………………