超生动图解LSTM和GRU：拯救循环神经网络的记忆障碍就靠它们了！

AI识别你的语音、回答你的问题、帮你翻译外语，都离不开一种特殊的循环神经网络（RNN）：长短期记忆网络（Long short-term memory，LSTM）。最近，国外有一份关于LSTM及其变种GRU（Gated Recurrent Unit）的图解教程非常火。教程先介绍了这两种网络的基础知识，然后解释了让LSTM和GRU具有良好性能的内在机制。当然，通过这篇文章，还可以了解这两种网络的一些背景。图解教程的作者Michael Nguyen是一名AI语音助理方面的机器学习工程师。下面，跟着量子位一起来学习一下~短期记忆问题RNN受限于短期记忆问题。如果一个序列足够长，那它们很难把信息从较早的时间步传输到后面的时间步。因此，如果你尝试处理一段文本来进行预测，RNN可能在开始时就会遗漏重要信息。在反向传播 ………………………………