深入探讨！Batch 大小对训练的影响

一、概要：批训练（mini-batch）的训练方法几乎每一个深度学习的任务都在用，但是关于批训练的一些问题却仍然保留，本文通过对MNIST数据集的演示，详细讨论了batch_size对训练的影响，结果均通过colab（https://colab.research.google.com/drive/1ygbjyKZH2DPhMbAU7r2CUm3f59UHq7Iv?usp=sharing）跑出，开始时对数据进行了归一化处理，其他的与经典CNN代码无差，（单GPU：Telsa T4），对结果怀疑的可以去复现一下。二、实验结果：首先我选取了 Batch Size=64，Epochs=20，进行了18次实验，第一张图横坐标是训练次数，纵坐标是每一次单独所花时间，由图易得趋势是很不稳定的，这跟批训练的本质有关，这在第三节中有详细探讨。由此可以得出一个结论：''任何时候几乎每一次的训练得到的结果都是互异的 ………………………………