如何发现「将死」的ReLu？可视化工具TensorBoard助你一臂之力

选自Medium作者：Jithin Jayan机器之心编译参与：魔王、张倩深度学习模型训练中会出现各种各样的问题，比如梯度消失、梯度爆炸，以及 Dying ReLU。那么如何及时发现这些问题并找出解决方案呢？本文以 Dying ReLU 问题为例，介绍了如何使用可视化工具 TensorBoard 发现该问题，并提供了不同解决思路。本文介绍了如何利用可视化工具 TensorBoard 发现「Dying ReLU 问题」。什么是 ReLU？ReLU 即修正线性单元（Rectified Linear Unit），是人工神经网络中的一种激活函数。通常情况下，ReLU 是最常使用的激活函数。其主要原因在于 ReLU 不会遇到梯度消失问题。ReLU 的数学公式为：另外一种表达式为：其函数图像如下所示：注意，该函数并非线性，其输出是非线性的。ReLU 的导数是：当 x=0 时，Re ………………………………