图解神经机器翻译中的注意力机制

选自 TowardsDataScience作者：Raimi Karim参与：高璇、路本文用几张动图形象地解释了注意力机制，还分享了过去 5 年中出现的 4 个 NMT 架构，对文中出现的一些概念也进行了直观解释。几十年来，统计机器翻译在翻译模型中一直占主导地位 [9]，直到神经机器翻译（NMT）出现。NMT 是一种新兴的机器翻译方法，它试图构建和训练单个大型神经网络，该网络读取输入文本并输出译文 [1]。NMT 的最初开拓性研究来自 Kalchbrenner 和 Blunsom (2013)、Sutskever 等人 (2014) 和 Cho. 等人 (2014b) 这三篇论文，其中我们较为熟悉的框架是 Sutskever 等人论文提出的序列到序列（seq2seq）学习。本文基于 seq2seq 框架阐述如何构建注意力。图 0.1：seq2seq，输入序列长度为 4。在 seq2seq 中，初步设想是让两个循环 ………………………………