深度学习不 work？这有一份超全的 Debug 检查清单

转自 | Datawhale前言：本笔记是对近日阅读keynote“Troubleshooting Deep Neural Networks”的总结。keynote来源：http://josh-tobin.com/troubleshooting-deep-neural-networks为什么需要讨论DL Troubleshooting？80%-90%时间用于debug和tune，10%-20%时间用于推导数学或者实现。模型为什么会表现糟糕？实现时的bug，很多深度学习bug不可见，比如模型label顺序错误超参数选择，因为模型对超参数比较敏感数据/模型拟合数据集创建，常见问题如下：没有足够数据类别不平衡噪声标签训练和测试的分布不同DL Troubleshooting策略Start simple：尽可能使用最简单的模型和数据，比如在数据的一个子集上使用LeNet选择简单结构使用sensible配置对输入归一化简化问题使用更小的训练数据使用更小的图像尺寸创建一个更简单的合成 ………………………………