用纯NumPy码一个RNN、LSTM：这是最好的入门方式了

机器之心报道参与：思源随着 TensorFlow 和 PyTorch 等框架的流行，很多时候搭建神经网络也就调用几行 API 的事。大多数开发者对底层运行机制，尤其是如何使用纯 NumPy 实现神经网络变得比较陌生。以前机器之心曾介绍过如何使用 NumPy 实现简单的卷积神经网络，但今天会介绍如何使用 NumPy 实现 LSTM 等循环神经网络。一般使用纯 NumPy 实现深度网络会面临两大问题，首先对于前向传播，卷积和循环网络并不如全连接网络那样可以直观地实现。为了计算性能，实践代码与理论之间也有差别。其次，我们实现了前向传播后还需要继续实现反向传播，这就要求我们对矩阵微分和链式法则等数学基础都有比较充足的了解。尽管 NumPy 不能利用 GPU 的并行计算能力，但利用它可以清晰 ………………………………