也来谈谈RNN的梯度消失/爆炸问题

©PaperWeekly 原创 · 作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络尽管 Transformer 类的模型已经攻占了 NLP 的多数领域，但诸如 LSTM、GRU 之类的 RNN 模型依然在某些场景下有它的独特价值，所以 RNN 依然是值得我们好好学习的模型。而于 RNN 梯度的相关分析，则是一个从优化角度思考分析模型的优秀例子，值得大家仔细琢磨理解。君不见，诸如“LSTM 为什么能解决梯度消失/爆炸”等问题依然是目前流行的面试题之一。▲经典的LSTM关于此类问题，已有不少网友做出过回答，然而笔者查找了一些文章（包括知乎上的部分回答、专栏以及经典的英文博客），发现没有找到比较好的答案：有些推导记号本身就混乱不堪，有些论述过程没有突出重点，整体而言感觉不够清晰 ………………………………