道理我都懂，但是神经网络反向传播时的梯度到底怎么求？

公众号关注 “ML_NLP”设为 “星标”，重磅干货，第一时间送达！来自 | 知乎   作者丨DarkZero链接丨https://zhuanlan.zhihu.com/p/25202034编辑丨极市平台本文仅用于学术分享。若侵权，请联系后台作删文处理。相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯度推导那里被折磨了半天。在各种机器学习的课上明明听得非常明白，神经网络无非就是正向算一遍Loss，反向算一下每个参数的梯度，然后大家按照梯度更新就好了。问题是梯度到底怎么求呢？课上往往举的是标量的例子，可是一到你做作业的时候就发现所有的东西都是vectorized的，一个一个都是矩阵。矩阵的微分操作大部分人都是不熟悉的，结果使得很多人在梯度的推导这里直接选择死亡。 ………………………………