全连接神经网络的原理及Python实现

♚作者：李小文，先后从事过数据分析、数据挖掘工作，主要开发语言是Python，现任一家小型互联网公司的算法工程师。Github: https://github.com/tushushu1. 原理篇我们用人话而不是大段的数学公式来讲讲全连接神经网络是怎么一回事。1.1 网络结构灵魂画师用PPT画个粗糙的网络结构图如下：1.2 Simoid函数Sigmoid函数的表达式是：不难得出：所以，Sigmoid函数的值域是(0, 1)，导数为y * (1 - y)1.3 链式求导z = f(y)y = g(x)dz / dy = f'(y)dy / dx = g'(x)dz / dz = dz / dy * dy / dx = f'(y) * g'(x)1.4 向前传播将当前节点的所有输入执行当前节点的计算，作为当前节点的输出节点的输入。1.5 反向传播将当前节点的输出节点对当前节点的梯度损失，乘以当前节点对输入节点的偏导数，作为当前节点的输入节点的梯 ………………………………