NeurIPS 2018 | BP不用算梯度，这样的线性反向传播也能Work！

选自 NIPS 2018机器之心编译作者：Mehrdad Yazdan参与：路雪、思源反向传播是常用的学习算法，但它存在一些缺陷，如过于敏感、依赖大量条件和约束。来自加州大学圣地亚哥分校的研究科学家 Mehrdad Yazdani 对误差项的线性反向传播进行研究，该方法在前向传播中使用非线性激活函数，但是在反向传播中使用线性激活函数，因此它可以确保梯度流的正常传递，同时节约计算成本。反向传播算法（Backprop）是很多机器学习算法中主要使用的学习算法。但是在实践中，深度神经网络中的反向传播是一种非常敏感的学习算法，它的成功取决于大量条件和约束。约束的目的是避免产生饱和的激活值，这么做的动机是梯度消失会导致学习过程中断。特定的权重初始化和尺度变换 方案 ………………………………