看啥推荐读物
一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~
今天看啥  ›  专栏  ›  机器学习算法与自然语言处理

Transformer注解及PyTorch实现(下)

机器学习算法与自然语言处理  · 公众号  ·  · 2020-09-09 00:09
公众号关注 “ML_NLP”设为 “星标”,重磅干货,第一时间送达!原文:http://nlp.seas.harvard.edu/2018/04/03/attention.html 作者:Alexander Rush译者:哈工大SCIR 刘元兴转载需注明出处:哈工大SCIR请先阅读Transformer注解及PyTorch实现(上)训练    - 批和掩码    - 训练循环    - 训练数据和批处理    - 硬件和训练进度    - 优化器    - 正则化        - 标签平滑第一个例子    - 数据生成    - 损失计算    - 贪心解码真实示例    - 数据加载    - 迭代器    - 多GPU训练    - 训练系统附加组件:BPE,搜索,平均结果    - 注意力可视化结论训练本节介绍模型的训练方法。快速穿插介绍训练标准编码器解码器模型需要的一些工具。首先我们定义一个包含源和 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照