5种神经网络常见的求导！

derivative of softmax1.1 derivative of softmax一般来说，分类模型的最后一层都是softmax层，假设我们有一个  分类问题，那对应的softmax层结构如下图所示（一般认为输出的结果  即为输入  属于第i类的概率）：假设给定训练集  ，分类模型的目标是最大化对数似然函数  ，即

通常来说，我们采取的优化方法都是gradient based的（e.g., SGD），也就是说，需要求解  。而我们只要求得  ，之后根据链式法则，就可以求得  ， ………………………………

原文地址：访问原文地址
快照地址： 访问文章快照