神经网络的BP算法学习

作者简介：周细洞，架构师，现在就职于国内某著名的P2P互联网金融公司，从事大数据和机器学习研究。待字闺中特约作者。也欢迎大家投稿。首先用图来表达函数，对于以下的函数：令：则相应的图表示为： 图-1上图中，圆形框是函数表达式，边表示圆形框的输入和输出来源。将图r节点的输出记为r， 则r节点的输入为p节点和q节点的输出，记为 p，q。那么如何求z（z节点的输出）关于图中任意节点输出的梯度呢？图-2对于任意的x节点，找到所有与x节点直接关联的节点p，q，x 只能通过p，q去影响z。那么z和x的关系可以表示如下z=z(p,q)，p=p(x)，q=q(x)，根据复合函数求导法则：这就是BP算法的核心公式。在实际使用中，有前向和后向两个流程，以图-1为例：在前向流程中， ………………………………