论文浅尝 | LightRNN：存储和计算高效的 RNN

链接：https://arxiv.org/pdf/1610.09893.pdf动机在NLP任务中使用RNN已经被证明是很有用的模型方法。但是传统的RNN在NLP中的应用有一个很大的限制：RNN的输出输入Embedding占用的空间太大，比如1024维10M词表大小的Embedding矩阵就要占掉40GB，这在大部分的GPU上都是不可训练的。本文的目标就是解决Embedding过大和参数过多的问题。亮点文章的亮点主要包括：1. 通过二维Embedding使得参数所占空间和数量大幅减少，训练更快，使得手机甚至嵌入式训练成为可能2. 由于单词安排的形式语义性表达更丰富，在NLP任务上能够不输于甚至超过一维的情形概念2-ComponentShared Embedding：维度共享的Embedding.每个word的词向量划分为行向量和列向量，同一行的词共享行向量，同一列也如此两个Embedding 矩阵的大 ………………………………