离散优化代替反向传播：Pedro Domingos提出深度学习新方向

选自arXiv作者：Abram L. Friesen & Pedro Domingos机器之心编译在改革深度学习、抛弃反向传播的道路上我们不仅看到了 Geoffrey Hinton 的努力。近日，《终极算法》一书作者，华盛顿大学计算机科学教授 Pedro Domingos 也提出了自己的方法——离散优化。神经分类的原始方法是学习单层模型，比如感知机（Rosenblatt, 1958）。但是，将这些方法扩展至多层比较困难，因为硬阈值单元（hard-threshold unit）无法通过梯度下降进行训练，这类单元在几乎所有情况下导数都为 0，且在原点处非连续。因此，研究社区转向带有软激活函数（如 Sigmoid、ReLU）的多层网络，这样梯度可以通过反向传播进行高效计算（Rumelhart et al., 1986）。该方法获得了巨大成功，使研究者使用数百层来训练网络，学得 ………………………………