总结 | 神经网络训练不收敛或训练失败的原因

文章分别从数据方面和模型方面分析了导致模型训练不收敛或失败的原因，数据方面总结了四种可能的原因，模型方面总结了九种可能的问题。除此之外，文章介绍了每种潜在问题的产生后果或现象，并提供了常规做法。作者丨风影忍着@知乎在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，再考虑采取措施解决。一、数据与标签方面1. 没有对数据进行预处理。数据分类标注是否准确？数据是否干净？2. 没有对数据进行归一化。由于不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标 ………………………………