Transformer的最简洁pytorch实现

作者丨石子@知乎来源丨https://zhuanlan.zhihu.com/p/665148654编辑丨极市平台 （仅供学习交流分享，如有侵权请联系删除）导读 本文对Transformer进行的尽量简洁实现，适合初学者把握模型核心要点。前言本文是参考了如下代码后对Transformer进行的尽量简洁实现，适合初学者把握模型核心要点1.https://wmathor.com/index.php/archives/1455/2.http://nlp.seas.harvard.edu/annotated-transformer/完整代码已发布在github上（包含jupyter实现、.py实现、本文绘制的图还有训练好的模型等），欢迎star：https://github.com/BoXiaolei/MyTransformer_pytorch1. 数据预处理python3import mathimport torchimport numpy as npimport torch.nn as nnimport torch.optim as optimimport torch.utils.data as Data# 姑且把导包也放在这个地方吧   # S: 起始标记# E: 结束标记# P：意为padding，将当前序列补齐至最长序列长度的占位符sentence = [    # ………………………………