学界 | 电子科大提出BT-RNN：替代全连接操作而大幅度提升LSTM效率

选自arXiv作者：叶锦棉等机器之心编译参与：李泽南、黄小天、蒋思源优秀的 ResNet 和 DenseNet 等 CNN 架构试图绕过巨大而繁琐的全连接层，但改进 RNN 全连接式的线性变换仍然只有有限的研究。这篇电子科技大学提交 CVPR 2018 的论文正提出了一种稀疏性的张量表征，它相对于传统的 LSTM 不仅减少了多个数量级的参数，同时还实现了更好的收敛率与训练速度，机器之心对该论文做出了简要地介绍。循环神经网络（RNN）最为擅长序列到序列的学习，它是神经网络架构（带有反馈连接）的一种，被设计用来捕获数据的动态时序行为。一般的全连接 RNN 通过反馈循环记忆先前信息，同时当梯度随着时间步成指数消失时，它不能很好地处理长序列 [14, 2]。与通过直接矩阵-向量乘 ………………………………