从 ReLU 到 GELU，一文概览神经网络的激活函数

文章预览

点击上方 “ 小白学视觉 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 选自 | mlfromscratch  作者 | Casper Hansen  转自 | 机器之心  参与 | 熊猫、杜伟 激活函数对神经网络的重要性自不必多言， 来自丹麦技术大学的 Casper Hansen 通过公式、图表和代码实验介绍了 sigmoid、ReLU、ELU 以及更新的 Leaky ReLU、SELU、GELU 这些激活函数，并比较了它们的优势和短板。 在计算每一层的激活值时，我们要用到激活函数，之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。本文将介绍不同的激活函数。   在阅读本文之前，你可以阅读我前一篇介绍神经网络中前向传播和反向传播的文章，其中已经简单地提及过激活函数 ………………………………