爆款论文提出简单循环单元SRU：像CNN一样快速训练RNN（附开源代码）

选自arXiv机器之心编译机器之心编辑部近日，一篇题为《Training RNNs as Fast as CNNs》的 arXiv 论文通过有意简化状态计算并展现更多的并行性而提出了一个替代性的 RNN 实现，这一循环单元的运算和卷积层一样快，并且比 cuDNN 优化的 LSTM 快 5-10x。该实现在诸如分类、问题回答、语言建模上证明了其有效性，并已在 PyTorch 和 CNTK1 中开源。论文地址：https://arxiv.org/pdf/1709.02755.pdf由于在并行状态计算上的内在困难，循环神经网络（RNN）的缩放很差。比如，h_t 的前向计算被阻止直到 h_t−1 的整个计算结束，这对并行计算来说是一个主要的瓶颈。在这项工作中，通过有意简化状态计算并展现更多的并行性，我们提出了一个替代性的 RNN 实现。这一循环单元的运算和卷积层一样快 ………………………………